Bayesian Music Alignment

 昨今ユーザがデータを無尽蔵に貯めたり共有することが可能になったことで，音楽を誰もが気軽に録音したり共有できるようになった．これにより，楽器演奏者や歌唱者は，同一楽曲に対する多くの録音を聴き比べることで，自分の演奏に対する気付きをより効率的に得られるようになった．たとえば，自分の練習を録音し聞き返すことで内省したり，自分の演奏を他人の演奏と比較することで，自分の改善点をより効果的に発見できるようになった．
 
 しかし，手軽に自分や他人の演奏を収集できるようになった一方で，大量にある音源を効果的に聴き比べることは依然として難しい．なぜならば，楽曲中の特定個所を聴き比べるためには，演奏速度が異なる複数の音源に対して，再生位置を同じ場所に合わせる必要があるからだ．音響信号間や，電子楽譜データと音響信号間に対する自動位置合わせ手法（音楽アライメント）はあったものの，同一曲に対して幅広い種類の音源が混在する場合には適用が困難であった．従って，合奏曲を一人で練習した時の音源を合奏全体の演奏と聞き比べるといった場合のように，幅広い変動要因を含む場合では手動で再生位置を合わせる必要があった．

 そこで本研究では，幅広い不確定要素を持つ音響信号に対してアライメントを行うことを目標とした．従来の手法では幅広い種類の音源に対するアラインメントが困難であった理由は，同一曲を演奏した音源の間で不変な特徴量系列の設計が困難になるためである．そこで本研究では，アライメントの定式化において，同一楽曲を演奏する音響信号に対する生成過程を確率的にモデル化し，音響信号を与えたときの事後分布を推定することを考えた．なぜならば，異なる音源に対して違いが発生する仕組み自体はシンプルに記述できるからだ．

 このような生成モデルアプローチを使い，本論文ではまず電子楽譜データと音響信号のアライメントを提案した．ここでは，楽器音の生成過程をモデル化することで，音高や構成される楽器の違いを明示的に扱えるようになった．次に，複数の音響信号間に対するアライメントの生成モデルを提案した．ここでは，音響信号の背後に存在する未知かつ共通の楽曲を表現するため，楽曲に内在する規則性に着目し，楽曲の生成過程をモデル化した．これにより，実用的な性能で動作する，生成モデルに基づく音響信号間のアライメントが実現された．最後に，共通の楽曲に対する，異なる旋律の組合せを演奏する音響信号間（たとえばバンド曲に対する原曲と，ボーカルパートをユーザが独唱した録音）に対するアライメントを提案した．ここでは，それぞれの音響信号が，背後に存在する未知かつ共通の楽譜表現に対する部分集合を生成する過程をモデル化した．これにより，音源を構成されるパートが著しく異なるもの同士のアライメントが実現された．また，音楽音響信号に含まれる幅広い音源や残響の種類に対して頑健に動作する残響抑圧手法を提案し，アライメントと組み合わせることで，室内音響の違いに頑健なアライメントが実現された．