入力された動画に合わせてBGMの生成が行えるControllable Music
Transformerという手法が提案されている。Controllable Music Transformerは、
Music Transformerを用いてBGMを自動生成する手法である。この手法では、
Simu-Note StrengthやSimu-Note Densityといった音楽表現を提案しており、動
画と音楽とのリズムの関係の対応付けを行い、Controllable Music
Transformerに動画を入力することでBGMの生成を行う。この手法では、動画か
ら抽出した動きのスピードなどの特徴とリズムの特徴を対応付けることで音楽
を生成しているため、展開の速い動画にはテンポの速いBGM、落ち着いた雰囲気
の動画にはゆっくりとしたBGMが生成されることになる。しかし、展開は速いが
あえてゆっくりとしたBGMをつけたいような場合もあり、ユーザによる設定が生
成に反映できるとより柔軟なBGM生成が行えるようになると考えられる。そこで
本研究では、Controllable Music Transformerを用いた動画のBGM生成において、
生成されるBGMの速度などを動画に対して相対的に設定できるようにする方法を
提案する。