バスケットボールには、Table Officials（以下、TO）という審判と共に試合を円滑に進行する役割を担う人物が複数人存在する。TOは、試合のスコアキーパーやタイマー、ファール数の記録など、試合において重要な役割を果たしている。しかし、審判に着目した研究はされているが、TOに着目した研究はされていない。
そこで、本研究では、スコアラーという役割に着目し、審判がスコアラーに向けて行うジェスチャーをカメラで撮影し、深層学習を用いてファウルの種類と選手の背番号を認識するシステムを開発する。これにより、TOにかける人員の削減や試合中のTOのミスによる中断の削減が可能になると考えられる。