Realization of Natural Operating Environments for Augmented Reality

 拡張現実感技術はソフトウェア開発や周辺機器の技術革新により，広く一般にも利用されるようになってきた．拡張現実感を実現するための多くのシステムでは，視覚情報提示にHMD（Head-Mounted Display）が利用される．また，現実環境における操作や作業を支援するとため，携帯電話等の情報端末を使用した提示方法も多く利用されている．

 拡張現実感を実現する基盤技術として，①仮想物体とのインタラクション技術，②現実環境と仮想環境の位置統合技術の2つが挙げられる．本研究では，新たなインタラクション手法と位置情報統合手法の実応用システムを提案し，拡張現実感における直感的操作環境を実現させる．

 1つめの基盤技術である仮想物体とのインタラクション技術として，キーボードなどのキー入力，タッチパネルへのタッチ入力，そして，音声入力がある．また，仮想物体を手で直接操作する研究も盛んに行われている．しかし，簡単なジェスチャで仮想物体操作を実現するために特殊なデバイスを必要としたり，簡単なデバイスであるが特殊なジェスチャ操作を必要としたりするなどの問題がある．

 仮想物体とのインタラクション技術を向上させるため，簡単なデバイスで仮想物体を手で直感的に操作するインタフェースの構築を目標とする．ボタンを指で押す動作に類似したジェスチャと仮想物体を指でポインティングするジェスチャの2つを合わせたジェスチャをクリック動作と呼び，クリック動作で仮想ボタンを直感的に操作する．1台のカメラが搭載されたHMDや携帯端末によって拡張現実感を実現することが多いが，1台のカメラのみでは指と仮想物体の正確な奥行き関係を計算できない．そのため，奥行き方向に指が移動するジェスチャであるクリック動作の認識が困難であった．そこで，本研究では1台のカメラから指先の速度および急減速を算出する手法と指先のポインティングを視覚的なフィードバックにより提示する仮想ボタンを設計し，クリック動作による直感的インタフェースを実現した．

 2つめの基盤技術である現実環境と仮想環境の位置情報の統合技術ではカメラとマーカによる画像処理を利用した方法がある．これは比較的簡単に導入でき精度が高い．しかし，マーカを用いた手法での問題点は，マーカの隠蔽によりマーカ情報が取得できず，仮想物体の表示が途切れてしまう問題がある．

 この問題を解決するために，マルチマーカとマルチカメラを用いてマーカ情報を補完し，隠蔽されたマーカ上に仮想物体を表示する方法がある．この方法を利用した実応用システムとして警察・検察による現場検証用映像のインハウス製作支援システムを提案する．現場に多数のカメラを設置し，被害者用マーカや凶器用マーカを配置する．それにより犯罪現場環境は現実環境で被害者や凶器は仮想物体で表示し，犯人役を演技者が演技することで拡張現実感を利用した現場検証用の環境を実現した．また，マルチカメラにより演技者（一人称）及び視聴者（三人称）視点映像を取得し，演技者へ提示することで演技支援が可能となる．

 仮想物体とのインタラクション技術と現実環境と仮想環境の位置情報の統合技術のそれぞれの技術向上により拡張現実感における直感的操作環境の実現を行った．