情報処理学会 第81回全国大会講演要旨

近年語学教育において，コンピュータを用いた発音学習である「CAPTシステム」が導入されている．本研究では，語学発音時の調音動作を視覚的に分かりやすく表現するため，学習者の音声から調音動作を推定し，それをアニメーションにより可視化するシステムの開発を目指している．調音動作推定の実現のために，まずは英語ネイティブの単語発話を撮像したMRI動画像を用意し，フレームごとの口腔形状の画像と音声データを抽出する．画像からは各フレームの調音器官の動きを座標として，音声データからはmfccなどの音響情報を抽出し，深層学習を用いて音響情報から座標へと変換するモデルの構築を行う．