本稿では，音楽音響信号からドラム譜を推定する手法について述べる．近年，深層ニューラルネットワークに基づく手法が提案されており，高い性能を示しているものの，しばしば音楽的に不自然なドラムパターンが出力されることが指摘されている．この問題を解決するため，本研究では，音響信号に対するドラム譜の当てはまりの良さを評価する深層音響モデルと，ドラムパターンの音楽的な妥当性を評価する深層言語モデルを統合することにより，音楽的に自然なドラム譜を推定する手法を提案する．標準データセットを利用した実験で，本手法の有効性を確認する．