近年、人工知能技術への関心が高まっており、その中でも正解を人間が与えることが難しい問題を試行錯誤しながら学習する強化学習はロボット制御、自動運転など様々な分野で活躍が期待されている。強化学習は、設計者が適切な報酬を設定する必要があり、この報酬を得ることで学習が進むが、問題が複雑である場合や、困難である場合において報酬を得ることが難しく、学習が進まない場合がある。本研究ではRoboCup Soccer 2D Simulationのサブタスクであり、ゴール以外での報酬設定が困難なHalf Field Offence タスクにおいて任意の状態からのシュート成功率を予測する判定器を事前学習することで効率的な学習を試みた。