算盤を用いた数値計算である「珠算」を習得するには，珠を使った数の表現や盤面に応じた適切な運指を理解する必要があり，一般には指導者による監督と長期間の反復学習が不可欠である．この珠算学習を効率的に実施するために，書画カメラによるセンシング技術を用いたICT珠算学習支援システムが提案されているが，直接的な運指の学習は行えないという課題が存在する．本研究では，複合現実(MR)技術を活用して，実際の珠の動きや運指に着目した学習支援を行い，算盤の操作を感覚的に学習させることを目標とする．本発表では，画像認識に基づくリアルタイムな算盤の盤面認識手法と，珠算学習を支援する情報をHMD上に重畳表示するシステムを提案する．