VRゴーグルやARグラスなどのウェアラブルデバイスにはカメラを備えるものがあり，撮影された一人称視点映像を用いたジェスチャー認識の研究が進められている．本研究は，こうした動向を踏まえ，手指動作を音声と併用する補助モダリティとして活用する，新たなマルチモーダルコミュニケーション基盤の構築を目的とする．一般的なジェスチャーが非言語的な身振りを指すのに対し，本研究で扱う手指動作は名詞・動詞・地名など語彙的意味を担う動作である．実験では，日常的に用いる20語に対応する手指動作を2名の話者から計400例収集し，簡単な識別実験を行い，有効性と課題について報告する．