近年のXR技術の進歩に伴い、ヘッドマウントディスプレイ（HMD）の普及が進んでいる。HMDでは空中に配置されたパネルを操作するが、手が届かない距離にある対象を選択する際は手やコントローラーを対象に向けて決定動作を行う必要があり、より手軽かつ直感的な操作手法が必要である。本研究ではハンドトラッキングを活用し、対象に向けて手でタッチ動作を行うことで離れた位置にあるパネルを選択する手法を提案する。HMDを用いてタッチ動作時のハンドデータを収集し、深層学習モデルを用いて選択対象の推定を行う。