本研究では、日本語の共感的対話を対象に音声とテキストを用いた感情認識モデルを構築した。発話全体と形態素の局所情報に着目し、音声系とテキスト系でそれぞれ発話全体モデルと局所モデルを設計した。まず、形態素を用いた局所特徴が各シングルモーダルにおいて有効かを検証し、発話全体モデルとの比較を行った。さらに、音声モデル2種とテキストモデル2種を組み合わせた4種類のマルチモーダルモデルを構築し、どの組み合わせが感情識別において有効かを比較、検証した。マルチモーダル融合については、両モーダルの統合手法の観点から複数の設定を試行し、手法の違いが性能に及ぼす影響を検証した。