MediaPipe Handsを利用してハンドトラッキングを行い、空中でのピアノジェスチャーの様子から打鍵しているかどうかの判定を行った。人差し指から小指までは手首から第3関節までのベクトルと第3関節から指先までのベクトルの余弦値を計算し変化が一定値をおこえた場合に打鍵した状態、それ以外を打鍵していない状態であるとして判定した。また、親指に関しては手首から親指の第2関節までのベクトルと手首から人差し指の第3関節までのベクトルの余弦値で判定を行った。童謡・唱歌を対象に運指からの音符推定も行った。