Bayesian Music Alignment

(邦訳:ベイズ推定に基づく音楽アライメント) 
 
前澤 陽
ヤマハ(株)研究開発統括部第1研究開発部知的音楽システムグループ 主任

[背景]「演奏を録音し聞き比べる」という楽器学習スタイルの確立
[問題]電子楽譜データやさまざまな録音条件で収録された音楽メディア間の位置合わせ
[貢献]部屋の響きや楽器の数などに頑健な聴き比べや楽譜データとの紐付けの構築
 
 昨今ユーザがデータを無尽蔵に貯めたり共有することが可能になったことで,音楽を誰もが気軽に録音したり共有できるようになった.これにより,楽器演奏者や歌唱者は,同一楽曲に対する多くの録音を聴き比べることで,自分の演奏に対する気付きをより効率的に得られるようになった.たとえば,自分の練習を録音し聞き返すことで内省したり,自分の演奏を他人の演奏と比較することで,自分の改善点をより効果的に発見できるようになった.
 
 しかし,手軽に自分や他人の演奏を収集できるようになった一方で,大量にある音源を効果的に聴き比べることは依然として難しい.なぜならば,楽曲中の特定個所を聴き比べるためには,演奏速度が異なる複数の音源に対して,再生位置を同じ場所に合わせる必要があるからだ.音響信号間や,電子楽譜データと音響信号間に対する自動位置合わせ手法(音楽アライメント)はあったものの,同一曲に対して幅広い種類の音源が混在する場合には適用が困難であった.従って,合奏曲を一人で練習した時の音源を合奏全体の演奏と聞き比べるといった場合のように,幅広い変動要因を含む場合では手動で再生位置を合わせる必要があった.

 そこで本研究では,幅広い不確定要素を持つ音響信号に対してアライメントを行うことを目標とした.従来の手法では幅広い種類の音源に対するアラインメントが困難であった理由は,同一曲を演奏した音源の間で不変な特徴量系列の設計が困難になるためである.そこで本研究では,アライメントの定式化において,同一楽曲を演奏する音響信号に対する生成過程を確率的にモデル化し,音響信号を与えたときの事後分布を推定することを考えた.なぜならば,異なる音源に対して違いが発生する仕組み自体はシンプルに記述できるからだ.

 このような生成モデルアプローチを使い,本論文ではまず電子楽譜データと音響信号のアライメントを提案した.ここでは,楽器音の生成過程をモデル化することで,音高や構成される楽器の違いを明示的に扱えるようになった.次に,複数の音響信号間に対するアライメントの生成モデルを提案した.ここでは,音響信号の背後に存在する未知かつ共通の楽曲を表現するため,楽曲に内在する規則性に着目し,楽曲の生成過程をモデル化した.これにより,実用的な性能で動作する,生成モデルに基づく音響信号間のアライメントが実現された.最後に,共通の楽曲に対する,異なる旋律の組合せを演奏する音響信号間(たとえばバンド曲に対する原曲と,ボーカルパートをユーザが独唱した録音)に対するアライメントを提案した.ここでは,それぞれの音響信号が,背後に存在する未知かつ共通の楽譜表現に対する部分集合を生成する過程をモデル化した.これにより,音源を構成されるパートが著しく異なるもの同士のアライメントが実現された.また,音楽音響信号に含まれる幅広い音源や残響の種類に対して頑健に動作する残響抑圧手法を提案し,アライメントと組み合わせることで,室内音響の違いに頑健なアライメントが実現された.

 
  
アライメントの応用例.
ユーザがある曲を「指揮」すると,演奏速度の抑揚が指揮に近い楽曲の録音を,指揮に合わせながら聴くことができる.指揮システムに必要な電子楽譜情報と,楽曲の録音のアライメントを取ることで実現できる.

(2015年6月10日受付)
取得年月日:2015年3月
学位種別:博士(情報学)
大学:京都大学



推薦文
:(音楽情報科学研究会)


本論文は,音楽データ間のアライメント(時間的対応付け)を扱ったものである.演奏中の(未知の)楽譜を確率的に推定するなど,高度な技術によりアライメントを実現しており,実用システムへの応用など幅広く研究を展開している.150ページを超える超大作となっており,本分野の代表的な博士論文として推薦する.     


著者からの一言


論文を書くことができたのは,ご指導・ご議論・ご支援いただいた皆様のおかげです.この場を借りてお礼申し上げます.音楽アライメントは,練習の円滑化だけでなく,音源分離,演奏様式の比較分析,自動伴奏,音源のミックスの効率化など,幅広い技術への応用が可能であるため,今後は生成モデルに基づくアライメントを他のタスクに応用していきたいです.