5ZA-06
手型と動作の独立認識に基づく連続指文字の文字境界検出の検討
○山口陽功,澤野弘明(愛知工大)
連続指文字から各文字を認識するには,文字境界の正確な検出が不可欠である.指文字は手指の手型と動作で構成され,それぞれ異なる時系列特性を持つ.本研究では,これらを独立に認識し統合する文字境界検出手法を検討する.まず,MediaPipe で取得した骨格座標から手型特徴量と動作特徴量を設計し,手型はSVM,動作はTransformer で認識する.つぎに,手型の前後フレーム間距離と動作速度の閾値により境界候補点を抽出し,候補点における両認識器の確信度と時間間隔を特徴量として,Transformer で真の境界を判定する2 段階処理を行う.評価実験には連続指文字動画データを用い,提案手法の有効性を検証した.