情報処理学会 第78回全国大会講演要旨

人間は困惑していたり指示を理解できていなかったりすると、それが様々な挙動に現れる。カーナビゲーションシステムにおいて、明示的な入力だけでなく、それらの挙動をシステムが読み取ることができれば、運転者にやさしい案内が実現できる。本研究では、マルチモーダル情報から運転者の内部状態（困惑や指示に対する理解度）を推定する。まず、人手で付与した困惑状態や理解状態に関するラベルを、どのような単位で推定すべきかを検討する。次に、車内で収録したマルチモーダルデータから様々な特徴量を抽出する。これらに基づき、運転者の内部状態の推定器を機械学習により得る。さらに特徴量選択を実施し、推定に有効な特徴を分析する。