近年、深層学習の発展により視覚情報も用いたチャット形式の対話の研究が盛んである。この視覚情報に基づくタスク指向型対話システムが実世界応用される際、システムは対話相手である人間のミスが原因でタスクが失敗する場合も考慮し、人間のミスが減るように支援する必要があるが、既存研究ではほとんど議論されていない。そこで本研究では, Guess What?と呼ばれる視覚情報に基づくタスク指向型対話における人間の返答の間違い指摘を考える。人間が返答に間違えた対話を集めたデータセットを構築し、間違いを指摘する手法を提案する。また, 集めたデータセットとそれから得られる知見が手法の精度向上に寄与するかを検証した。