情報処理学会 第75回全国大会講演要旨

映像と音楽が同期して動作する仮想空間オーケストラを実現するために、
視覚情報と聴覚情報を統合して取り扱うことのできる視聴覚統合システムの構築を目指している。
本研究では、最初に電子楽譜からトリルやフェルマータなどの演奏情報を抽出し、
MIDI形式を拡張することによって演奏情報を埋め込むとともに、
MIDIの音声情報と演奏情報をもとに生成された映像情報を同期させて提示するシステムを構築した。
さらに今後、音楽と映像の時空間的ズレが知覚に及ぼす影響について評価実験を行い、
仮想空間オーケストラ実現に必要とされる同期性の範囲について検証する。