本研究の目的は、タワーディフェンスゲームを高精度に攻略できるプレイヤーAIを開発することである。先行して構築したML-Agentsを用いた環境では、利用可能なモデルの構造に制限があり、開発できるAIの性能に限界があると感じられた。そこで本研究では、この環境をML-Agents非依存の環境へと改良し、外部のPython実装から任意のモデルを接続できるインターフェースを整備した。また、その環境において階層モデルを導入し、強化学習を行うことで、過去のモデルと比較してプレイヤーAIの攻略性能の向上が見込めるかを検証する。