情報処理学会 第80回全国大会講演要旨

近年の深層学習の発展により生成モデルに関する技術が発展し、単一のモダリティ、特に画像生成については素晴らしい成果が上がっている。しかしながら、動画や絵本のような複数種類のデータで構成されているデータの生成方法は未確立である。そこで、本研究はマルチモーダルデータの生成モデルを提案する。提案モデルは敵対的生成ネットワーク(GAN)を拡張して、複数データを生成できるようにしたモデルである。このモデルで学習を行い、実際にデータ生成できるかを確認した。また、マルチモーダルデータはモダリティ間に共起性があるため、生成モデルが共起性を考慮してデータを生成しているかを検証した。