本研究では、隠れマルコフモデルを用いたダンスと表情の自動生成において、
BERTを利用して分析した歌詞に含まれる感情の情報をダンスの生成に反映させ
る方法を提案する。提案手法では、楽曲の歌詞に含まれる感情の情報をAメロ、
Bメロ、サビといった構成ごとに分析し、それを考慮したダンスや表情の生成を
行う。感情は、喜び、悲しみ、期待、驚き、怒り、恐れ、嫌悪、信頼に対して
0～1に正規化したものを感情特徴とし、楽曲から抽出した音響特徴量である
MFCCを0～1に正規化したものとをあわせた特徴量に対し、
K-means++でクラスタリングしたものを音響・感情語彙とする。
音響・感情語彙とダンス動作や表情の関係を学習した隠れマルコフモデルを
用いて生成を行う。