情報処理学会 第78回全国大会講演要旨

本研究では、fMRIを使用し測定した動画視聴者の脳活動データと視聴者が動画から想起した言語といった異なる2種類の情報の対応関係を捉え、脳活動データから言語を、またはその逆を推定する手法を提案する。
行列因子分解により、脳活動辞書と言語辞書をそれぞれの基底を対応付けて生成する。そして、新しく観測された脳活動データに対して、学習して作られた大量の基底の中から主成分となる基底だけを抽出し少数の基底と係数による線形和で表現する。その際、得られた係数に対して、脳活動の基底を言語の基底に取り替えることにより、脳活動データから言語を推定する手法を開発する。