現在、遠野物語は岩手県遠野市で語り部により公演を行われているが、県外から来た観光者等は物語の内容を理解することが困難である。この問題を解決するために、理解を支援するシステムの開発を進めている。そのシステムにおける検索機能の精度向上を本研究の目的とする。現状、テキストで与えたキーワード検索が最も良い結果であった。本論文では、複数言語の音声認識モデルを利用し、音声でもキーワードを与えて検索し、そのスコアをテキストキーワード検索したスコアと統合することによって検索精度の向上を図る。