仮想環境上の物体をインタラクティブに操作する既存の手法として、ヘッドマウントディスプレイの外装前面部に設置したカメラで手指の動きを認識する方法がある。この手法では、手の甲がカメラに向くことが多いため、セルフオクルージョンが発生した際に指先を撮影できない問題があるが、手の甲側の手背画像は取得することができる。手背画像から指先の位置を推定することができればセルフオクルージョンに頑健な推定が可能となる。
本研究では、RGBカメラで撮影した手背画像を用いて、手の甲のテクスチャなどの特徴を分析し、指先が隠れている場合でも指先座標を推定する深層学習モデルを構築し、そのモデルによる指先座標推定精度を実験的に評価する。