本研究では、表情認識によるセンチメント分析を利用したリアルタイム・インタラクションを開発している。ユーザの気分の変化に応じてインタフェースからのフィードバックを制御することができ、ゲームや舞台セット、うつ病の回復訓練などで応用できる。CNNを用いてリアルタイムに取得したセンチメントデータをTouchDesignerに送り、データ照合を行う。特定された感情データをアニメーションの調整パラメータに対応させることで、ユーザがアニメーションの変化を見たときに、感情の変化を誘発させる。インタラクションの前後での感情の変化のデータを記録し、分析に用いるとともに、応用方法について検討する。