近年、家電やゲーム機等のユーザインタフェースにおいて、機械学習を用いた音声認識や画像認識技術が活用されている。機械学習を用いることで、ユーザインタフェースとして高い認識精度を持つ一方で、モデル生成に用いられたデータと、ユーザの特性や文化等の状況によっては、ユーザの意図と異なる認識が成されることがある。本研究では、このような課題に対して、複数の認識手法を組み合わせて改善するアプローチを考えている。本稿では、その第一段階として、どのような場合において、音声認識や画像認識がユーザの意図と異なる認識結果となるか明らかにするため検討し、調査を行う。