人が自身の意図を他人に伝えようとするとき，様々なモダリティを使用している．近年では，機械がこうした様々なモダリティを高精度に認識できるようになった．しかし，主語や目的語が隠れた文や指示語などの曖昧な表現を正しく理解することは未だ難しい．また，ジェスチャーや視線などの1つのモダリティだけを認識しても，その意図を人間のように推し量ることはできない．これらの問題の解決方法の1つとして，複数のモダリティを統合理解することが挙げられる．本稿では，複数のモダリティを使用する場面として，幾何問題を解答する過程に注目し，音声および指差しを統合理解可能なマルチモーダル幾何問題解答システムの構築し評価した．