1X-04
空間的及び局所的時間特徴量を用いた連続手話単語認識手法の提案
○柴田 惇,関口楓弥,山口陽功,澤野弘明(愛知工大)
本研究では,手話における実用的なコミュニケーション支援を目指している.そこで本稿では,一つの動画内に複数の手話単語が含まれる連続手話単語の認識モデル構築を行う.はじめに,カメラから得られた画像を用いてMediaPipeで空間的特徴量を取得する.つぎに,取得した空間的特徴量から連続するフレーム間の動きの変化を捉えるために1D-CNNを用いて局所的時間特徴量を抽出する.さいごに,局所的時間特徴量をTransformerに入力し,空間的及び局所的時間特徴量を用いた連続手話単語認識手法を提案する.提案手法の有効性を従来の連続手話単語認識手法と比較して検証した.