情報処理学会第85回全国大会 会期:2023年3月2日~4日 会場:電気通信大学

2S-01
リタイミングによるピアノ演奏動画の上手らしさの転写
○宮垣裕耀(東京工科大),盧 承鐸,柿本正憲(東京工科大/プロメテックCGリサーチ)
ピアノ初心者が習熟者の役で演奏シーンを演じる際、最も一般的な撮影方法は代役を立てることだろう。しかし、代役であることに気付かれないためには、カメラワーク等々を犠牲にする必要がある。画像処理技術を利用した顔部分の入れ替えの場合、姿勢や動きの癖といった本人らしさを失ってしまう。そこで本研究では、初心者と習熟者の演奏動画からハンドトラッキングで指運びの緩急を抽出し、初心者の動画上に習熟者の緩急を転写することで、本人らしさを残したままその上手らしさを再現しようと試みた。