視覚障碍者の麻雀では、点字付き点牌の使用により基本的なプレイは可能だが、点数計算や点棒管理には晴眼者の補助が必要となる。本研究では、視覚障碍者がより自律的に麻雀を楽しめるために、物体認識を用いた点数管理支援システムを提案する。提案システムでは、スマートフォンのカメラで撮影した点棒画像をリアルタイムで認識し、計算した点数を音声で案内する。典型的な点棒配置パターンを用いてYOLOモデルを構築し、評価用データセットにおいて認識精度を確認した。また、認識結果に基づく点数計算と音声案内機能を実装し、視覚障碍者の自律的な麻雀プレイを支援するシステムとしての実現可能性について見通しが得られた。