情報処理学会 第87回全国大会

6X-04
Transformerモデルを用いた静的・動的指文字の統一的認識手法の提案
○山口陽功,柴田 惇,澤野弘明(愛知工大)
指文字は手指の形状で表現され,静止状態と動作状態の2種類が存在する.本研究では,静的・動的指文字を統一的に認識可能なモデルの構築を目指す.まず,Webカメラから得られた画像を用いて,MediaPipeを活用して手を検出し,指関節の骨格座標の相対座標を取得する.つぎに,これらの時系列の相対座標をTransformerモデルに入力し,静的および動的指文字を認識する手法を提案する.先行研究であるSVMを用いた静的指文字認識手法と比較し,動的指文字を含む認識精度の向上を評価する.評価実験には,動画投稿サイトに投稿されている指文字学習用の動画データを用い,提案手法の有効性を検証した.