情報処理学会 第82回全国大会 会期:2020年3月5日~7日 会場:金沢工業大学 扇が丘キャンパス 情報処理学会 第82回全国大会 会期:2020年3月5日~7日 会場:金沢工業大学 扇が丘キャンパス

5R-08
深層モデルを用いた画像系列の特徴量自己組織化と映像生成
○川野真子,西出 俊,康 シン,任 福継(徳島大)
本研究では,映像と音のマルチモーダルな情報変換を目標とした基礎システムとして映像の特徴量の自己組織化と生成を行うモデルを提案する.目標システムでは映像と音,双方の特徴量を抽出し,神経力学モデルを用いてマルチモーダルな学習を行う.本論文ではその基礎システムとして,深層神経回路モデルを用い,画像系列データの特徴量自己組織化と生成を行う.評価実験では,動画において映像と音に関連性のある部分を切り出し,映像を画像系列に分割したものを学習データとして用いた.映像の生成実験の結果,本手法の有効性を確認することができた.