Augmented Reality on Geometrically Changeable Paper

（邦訳：幾何学形状が変化可能な紙を用いた拡張現実感）

 

Martedi Sandy（マルテディ・サンディ） 慶應義塾大学 特任助教

［背景］紙を使ったデジタル情報提示とインタラクション
［問題］画像による紙形状や位置姿勢のリアルタイム推定
［貢献］紙の折や曲げの変化に対応した拡張現実感表示システムの構築

 本研究では，人類の歴史上，古くから情報の記録や伝達のために用いられてきた「紙」を使って，デジタル情報の提示を行うために拡張現実感技術を利用するという枠組みを提唱し，この枠組みの実現のための基盤技術として，紙を撮影した画像から，紙の形状や位置姿勢を推定するための画像解析手法を提案し，プロジェクタを利用した拡張現実感システムや地理情報を紙の上で拡張現実感表示するシステムの構築を行いました．

 従来の拡張現実提示の大半は，図に示すように平面上にデジタル情報を重畳表示するものが殆どであり，これを使った紙上への拡張現実では，本来，紙が持つ特性である，折り，曲げに正しく対応した情報提示を行うことができませんでした．

 そこで本研究では，紙の幾何学的形状や位置姿勢を画像から推定し，その変化を追跡するための手法を提案し，その有効性を検証しました．まず，紙が折られ，複数の平面でモデル化できる状況を想定し，ランダムに配置された点群マーカが印刷されている紙を撮影した画像から紙の幾何学的形状をリアルタイムで推定・追跡する手法を提案しました．さらに，この方法を紙の曲げ形状推定に拡張するために，点の検出位置の変位から形状を推定する手法を提案しました．さらに，紙の切り取り動作にも対応するために，切り取られた紙の輪郭を特徴量として紙片の識別を行う手法を提案しました．

 これらの形状推定・追跡法の実利用の一例として，折り曲げられた紙の地図上への建物の3次元モデルデータを拡張現実提示したり，紙の曲げにより紙上に提示されるデジタル情報を変化させていくことのできるシステム，そして，切り取られた型紙を組み立てる手順を紙上に表示するシステムを構築しました．

 一方で，環境に設置されたプロジェクタを利用して紙上へデジタル情報を投影表示することを想定し，紙の位置姿勢をリアルタイム推定・追跡する手法を提案しました．そして，本手法を用いて，手に持った紙の地図上に，手の動きに追従しながらプロジェクタにより付加情報が適切な位置に表示可能となることを示しました．

 そして，本論文で提唱している紙を使ったデジタル情報の拡張現実提示を具体化するためのシステム構成例と応用例として，紙地図上にデジタル地理情報を拡張現実提示するシステム構成を提案し，このシステムをスマートフォンに実装した例や，紙上への指差し動作によるデジタル情報のインタラクションの実現例を示し，本研究で提唱している紙を利用した拡張現実提示の有効性を実証しました．

 
 

 （2013年6月29日受付）

取得年月日：2013年3月 学位種別：博士（工学） 大学：慶應義塾大学

幾何学的形状が可変という紙の性質を利用して，スマートフォンやプロジェクタにより地理情報を紙表面に拡張現実表示する新しい情報提示・インタラクションシステムについての研究である．このために，画像からの紙表面形状の実時間推定法や，紙に印刷された形状の認識手法を新たに提案し，実際に構築したシステム上で有効性を検証した．

博士課程に在籍した3年間の研究成果を1つの学位論文にまとめ上げるのは大変でした．しかし，自分のアイディアで関連する研究分野，特に拡張現実感の分野を発展させるという意識で頑張ってきました．本研究のアイディアが同様の研究者をインスパイアし，さらに現実の装置や製品として多くの人に使われることを期待しています．