映像を入力することで、映像中の適当な箇所に着目したロボットの発話とジェスチャの同時生成を行うシステムを作成する。人間は会話の際に、発話内容に情報を追加するマルチモーダルな振る舞いを行う。人のようにインタラクションできるロボットを考えると、ロボットも同様の機能を持つことで人との会話をより効果的に行えるだろう。そこで、ロボットが見たことを説明できるように、映像から対象物体の検出を行い、得た座標情報を元に映像中の着目点を決定し発話とジェスチャを同時生成するシステムを構築する。本システムでは複数のジェスチャを生成し、得られたジェスチャの適当さを順位づけることができる。