1V-05
無音動画に着目したドラム演奏の自動採譜
○井村悠斗,上田芳弘,坂本一磨(小松大)
自動ドラム採譜とは、主にドラム演奏の音響を楽譜等の記号表現に変換する、音楽情報処理における主要なタスクのひとつである。しかし、音響のみを入力とする手法では、ポリフォニックな演奏の採譜や、バックグラウンドノイズが存在する環境下で録音された演奏の採譜が困難となる場合が多い。そこで、本研究では、自動採譜の汎用性向上を目的として、視覚情報のみによる自動ドラム採譜の可能性を検証する。自動的なアノテーションのため、電子ドラムとスマートフォンのカメラによるデータ収集、LTCによる映像データとMIDIデータの同期を実施し、3D ResNetをベースとした深層学習による自動採譜の実装と評価を行った。