6C-04
手指の形と動きの分析による静的・動的指文字認識手法の検討
○山口陽功,澤野弘明(愛知工大)
指でひらがな 1 文字を示す指文字は,手指の形 (形状) で表現される.その際,静止状態と動作 状態があり,本研究では手指の形と,その動作状態を分析する静的・動的指文字認識手法を検討す る.まず,Web カメラから得られた画像を用いて,MediaPipe を活用して手を検出する.ここで, 指関節の骨格座標が取得され,骨格座標を基に,教師あり機械学習モデル SVM にて手指の形の認 識を行う.形が認識された後,連続するフレーム間の差分を利用して,特定の動作パターンと手指 の形の組み合わせで静的指文字と動的指文字を判別する.動画投稿サイトに投稿されている指文字 学習用の動画を基に評価実験を行った.