視覚と力覚を整合するための物体インタラクション技術の研究 -VOIT（Visual Object-Interaction Technique）の提案と開発-

 
宇佐美 真
（株）リコー シニアマネジメント

［背景］バーチャル世界の映像に力覚を与えたい
［問題］バーチャル映像上の物体に対する感触がないこと
［貢献］バーチャル映像体験にともなう臨場感の拡大

 図-1では現在のVRホラーゲームとVOITによる将来像を示している．現在のVRホラーゲームにおいて，バーチャル映像に対しても人は力覚を期待するため，有ると思って手を差し伸べた映像を押したとき感触がないと違和感が発生し臨場感の低下に繋がるという課題が存在する． VOITにより「バーチャル世界に力覚を与える」ことから視覚と力覚の整合により違和感が縮小されるため，臨場感の拡大効果が見込まれる．

 本論文は人と特定物体とのインタラクション状態を認識するためのマーカと認識技術に関してまとめたものである．「対象物体と人とのインタラクションに対する反力を発生させながら力覚を含めて1つのカメラで認識・推定する技術」としてVisual Object-Interaction Technique（以降VOIT）を新規開発した．

 本研究では上記課題を解決するために，以下，2つの成果を得た．
  1. 「3次元マーカ」の開発による「物体姿勢」と「形状変化」の情報の提供
  2. 「力覚センサ」と「コンピュータビジョン（以降CV）技術」の開発による「視覚と力覚の整合」
 また，上記2つの成果のため下記3つの具体的技術を開発した．
  1. 3次元姿勢推定と形状変化の認識に対応するL字型マーカ（2次元，3次元円柱型および3次元四角柱型）を開発した．
  2. L字型マーカを，柔軟性を有する実体物に装着することで，姿勢だけでなく反力を発生させながら力覚を同時に推定するための力覚センサ（Passive Force-Sensor，以降PFS）を開発した．
  3. PFSを1つのカメラによるCV方式により姿勢と力覚を同時に推定する技術を開発した．
 以上のことから，本研究で開発したVOITはコンシューマグレードのデバイスのみで構成する制約条件のもとに開発された点も含め，実社会で実装可能なユニークな技術であり既存MRシステムへの容易な展開技術であることは将来，新しいサービス（ゲーム等）を享受し得るという点で価値ある成果になった．また本研究の成果は2020年に16兆円市場ともいわれるMR領域にとどまらずコンピュータにおける現実世界の視覚と力覚の整合技術はロボットアームの対人制御やゲーム機のコントローラへの新感覚の創出への貢献も期待しており，さらなる発展が期待される成果を得た．

 

 
図-1  バーチャル世界に感触がないときの違和感
 


図-2　センサ単体





図-3　システム図

 （2018年5月8日受付）
取得年月日：2017年9月
学位種別：博士（工学）
大学：神奈川工科大学



推薦文：（コンシューマ・デバイス＆システム研究会）

バーチャル映像に，実体物とのインタラクションにともなう力覚を与えて，視覚との整合をとる技術（VOIT）に関して研究，開発を行った．今後，バーチャルリアリティ技術が社会に浸透していくことに先行して，将来直面するであろう視覚と力覚の違和感による発生する課題解決策を提供した．よって本論文を博士論文速報に推薦する．


研究生活：

一貫してカメラ，イメージング技術に携わってきました．その経験を活かすことで期待の大きいVR, ARなど技術領域の発展に寄与・貢献することが研究テーマのきっかけです．社会人として仕事とは別途，大学にて研究を始めたため，想定以上に実験や執筆の時間確保が難しい状況でした．それでもなんとか最後まで乗り切れたのは，5年半の長期間にもかかわらず，継続してご指導・アドバイスいただけた，指導教官の一色正男先生をはじめ，各先生方のお陰であり，深く感謝いたします．

大学での研究を通じてテーマにおける技術だけでなく，「学」の重要性や在り方を学ぶことができました．今後は，主に「産」の立場から産と学の連携を常に意識・実践しながら技術の発展に貢献していきたいと存じます．

All Rights Reserved, Copyright (C) Information Processing Society of Japan