音声対話システムにおいて，ユーザの心象変化に迅速に対応するためには，交換内部での心象推定が重要である．しかし，多くのデータセットでは心象は交換単位で付与されている．本研究では，マルチモーダル情報に基づく，交換内部の心象推定手法を提案する．交換内部の心象ラベルがないデータセットに心象疑似ラベルを付与する．1秒ごとにHuBERT， OpenFaceを用いて抽出した音 声・画像特徴量のクラスタリング結果を交換内部の心象疑似ラベルと対応させる．この疑似ラベルと交換ごとの心象ラベルを用いて心象推定モデルを構築した．最後に，人手で付与した正解ラベルと疑似ラベルの一致率を評価した．