ユーザの心象を対話システムが推定できれば，それに適応した応答が可能となる．機械学習は一般にデータの一様性を仮定しているが，実際にはユーザは多様であるため，全てを学習データとすると心象推定の性能低下につながる．本研究では，マルチモーダル対話において，個々のユーザに対して適切な学習データ集合を設定することで心象推定の性能向上を図る．まず，テストデータの心象推定の性能が上限となるユーザ単位の学習データ集合を，事前調査として得る．この集合内のユーザを近くに配置可能な距離尺度を設定し，ユーザのクラスタリングなどにより，性能が向上する学習データ集合を得る．これによって，心象推定の性能向上を確認する．