1C-03
Variational Autoencoderを用いたマルチモーダル情報の統合
○青木達哉，長井隆行（電通大）
我々は実世界の事象を視覚,聴覚,触覚をはじめとする複数のモダリティ情報の集合として観測する.そのため, 事象の予測を行う際に,モダリティ間の関係を考慮することはより正確な予測を行うために重要な能力である.
本研究では,モダリティ間の関係性のうち,共起性に焦点をあて,マルチモーダル情報に対する生成モデルとして表現する.このようなモデルをVariational　AutoEncoder(VAE)をベースにし,マルチモーダル情報を扱えるように拡張した方法による学習法を提案する.
実際のマルチモーダルデータセットに対する学習結果から提案手法の有効性を検証すると共に,VAEの次元圧縮としてマルチモーダル情報の統合ができるのかについて考察を行う.
footer 著作権について 倫理綱領 プライバシーポリシー セキュリティ 情報処理学会