情報処理学会 第78回全国大会講演要旨

健聴者が聴覚障がい者とコミュニケーションを取る際、手話と同様に欠かせないものに指文字がある。先行研究にて、Leap Motionによる指文字学習支援eラーニング教材が開発されたが、一部の指文字の正誤判定に課題が残った。本研究では、Leap MotionにSENZ3Dという別のモーションセンサを組み合わせることにより、手や指の形状認識の精度を高める試みを行った。すなわち、まず、Leap Motionにより下方向からの前後左右の位置情報を、SENZ3Dにより正面からの上下左右の位置情報をそれぞれ取得する。次に、それらの位置情報をUnityエンジンによって融合し、より精度の高い指文字判定を行う。本発表では、このシステムを健聴者と聴覚障がい者に実践した結果について述べる。