発表者らは昨年度、一般的な単眼カメラを用いて顔の表情と身体の認識を行い3Dアバターに同期するシステムを開発し、本学会全国大会にて発表した。本研究では、3Dアバターへの姿勢の同期を行うと同時に、通常はコントローラ等により行う、アバターの移動等の操作についても、全身トラッキングによる姿勢やジェスチャーの認識を用いて操作する手法を、実際にソフトウェア上で実装し、姿勢の同期とUIの操作を自然に行える手法について検証した．