筆者らは天井に設置したセンサとプロジェクタによりユーザの手にUIを投影するシステムの実現方法を検討している．本研究では，このシステムにおいて一方の手のひらに投影されたUIを他方の手の指でタップするジェスチャを認識する方法について検討する．深度センサでとらえたタップ時の深度情報を用いて画像ラベリングを応用した手法によりタップジェスチャの判定を行う．複数ユーザのジェスチャをそれぞれ認識することができることに加え，ユーザの手の高さや形状の違いに影響されにくい方法であると考えられる．本稿では，システムの試作を通じた本手法の有効性について検証した結果を述べる．