本研究では，複数のモダリティを併用した高精度な手指の運動推定法を示す．AR/VRシステムにおける手指の情報取得には，データグローブ等による関節の動き計測や，カメラ画像に基づく推定が用いられる．しかし，これらの方法には装着の煩わしさや画像からの情報漏えいに関する懸念が存在する．これらの問題を解決するため，本研究では手首における振動，表面筋電位などの，詳細な個人情報が取得できない複数モダリティの情報を利用する．これらをニューラルネットワークを用いて相補的に利用することで，単一モダリティを利用する場合よりも高精度に運動情報を識別可能であることを示す．