情報処理学会 第84回全国大会 会期:2022年3月3日~5日 情報処理学会 第84回全国大会 会期:2022年3月3日~5日

1T-04
敵対的生成ネットワークによる音楽にあった画像の生成
○片寄 凱,清水郁子(農工大)
近年,YouTubeやSNSの普及によって個人で動画を制作し発信することが一般的となったが,高品質な動画制作には時間と技術を要する.動画制作を補助する一端として,テキストや音声,環境音から画像を生成する先行研究は多くあるが,楽曲に関してはほとんど存在しない.
本研究では, 楽曲の演奏情報を表すMIDIデータのみを入力として,楽曲を聞いて感じるイメージと合う画像を生成することを目指す.楽曲から想起される印象を抽出するネットワークを敵対的生成ネットワークを用いた既存の画像生成モデルと組み合わせることで,楽曲データからの画像生成を行うネットワークを提案する.