マルチモーダル感情表現認識では，複数のモダリティを融合する手法やデータセットの不足等の課題が存在する．本研究では，音声のWav2vec 2.0によるエンコーディングと音声認識モデルWhisperによる文字起こしテキストのRoBERTaによるエンコーディングを入力とするクロスモーダルTransformerエンコーダに基づく感情認識モデルを提案する．そして，音声区間毎の感情認識とその合議による全体の感情認識を扱う．そのために，音声区間毎に感情ラベル付けした小規模データセットを作成し，音声区間毎，及び合議による全体の感情識別性能を評価する．更に，データクレンジングとデータに含まれる感情数に基づく2段階の学習により，高精度な認識が可能であるか検証する．