音声対話システムではユーザ心象を低下させない対話進行が重要である．発話衝突や急激な話題遷移などのエラーが心象低下の要因となり得るが，それらが与えた影響を定量化することで、プロンプトの改良やデバッグに活用できる．本研究では，LLMベースのシステムとユーザの音声対話データから、心象低下を招いた要因を分析し，その影響度を明らかにする．まず，対話データに付与された心象に基づき低下要因を列挙した．次に，各要因の有無を説明変数として，XGBoostを用いた心象変化推定モデルを構築した．評価実験では，Gainの指標に基づいて各要因の心象変化への影響度を分析することで，それらの関係性を明確にした．