情報処理学会 第82回全国大会 会期:2020年3月5日~7日 会場:金沢工業大学 扇が丘キャンパス 情報処理学会 第82回全国大会 会期:2020年3月5日~7日 会場:金沢工業大学 扇が丘キャンパス

5ZE-02
テレビ番組のバリアフリー字幕化のためのニューラルネットワークを用いた効果音認識
○菊島一樹,伊藤克亘(法大)
バリアフリー字幕化にかかるコストの削減を目指す足がかりとして、自動認識を利用した効果音の字幕化に取り組む。この目的を達成するためには、まず動画音声から効果音部分を抜き出すこと・抜き出された効果音部分の音声を分類/認識すること・認識した効果音を字幕として表示する時間を決定することが必要である。そこで本研究では、まず初めに入力として与えられる動画音声からk-近傍法をもちいて効果音部分を抜き出す。次に、抜き出された効果音部分を入力として効果音イベントを分類・認識を行うために平滑化とノイズ除去されたスペクトログラム画像特徴(SIF)を特徴量に畳み込みニューラルネットワーク(CNN)を用いることで出力にあたる効果音ラベルを得る。