情報処理学会 第79回全国大会講演要旨

fMRIを使用し測定した動画視聴時のヒトの脳活動データと、その動画を説明する文書の分散意味表現をそれぞれスパースコーディングを用いて辞書と係数に分解し、これらの係数同士の対応関係を捉えることで、新しく観測された脳活動データに対して言語表象を推定する。これにより、直接、脳活動データから分散意味表現を回帰して求めた推定結果より、スパースコーディングを介して推定を行ったほうが良い結果になることが確認された。また、画像刺激となる動画と対応する説明文書の対応関係を正確に捉えるなどの工夫を行い、推定精度の向上も図った。