5ZD-1
Kinectによる楽器マスキングを用いた視聴覚統合ビートトラッキング
○糸原達彦,水本武志,大塚琢馬(京大),中臺一博(ホンダRIJ),尾形哲也,奥乃 博(京大)
人のギター演奏を対象とした実時間のビートトラッキングでは,
シンコペーションのようなビートパターンの複雑さや
人の演奏におけるテンポ揺らぎに対応する必要がある.
我々はこれまでに音響情報と相関の深い弾き手の軌道を用いた
視聴覚統合ビートトラッキングを開発してきた.
しかし, ギターと手は色が似ているため, 手の軌道追従及び
ビートトラッキングの性能は十分ではなかった.
本稿では,視聴覚センサに加えて深度センサも持つKinectを用いて,
距離による画像マスキングを行い,手の領域を抽出する.
本手法により, 手の追従の頑健さが増し, ビートトラッキングの精度が
向上することを示す.