IT 人材の不足が問題となっている昨今，人手を割かずシステムによってさまざまな熟練度のプログラマを多角的に支援することには意義がある．既往研究にて，相槌機能を実装したインタラクティブな人形に対して，作業について困惑している事柄について，声に出して説明することで作業者の脳内情報の整理を支援することを目指した．しかし，プログラマ自らが契機となり起動するシステムであったため，使用する時機を逃す事例が見られた．本研究では，プログラマの視線や姿勢などのマルチモーダルデータから困惑状態推定モデルを作成し，困惑状態をリアルタイムで検出することで，システム側から適切な時機にプログラマに使用を促すことを目指す．