本研究では、迷路の最短経路の形状をPCGRL（Procedural Contents Generation via Reinforcement Learning、手続き型のコンテンツ自動生成）により制御する手法の探求の報告を行う。PCGRLとは、レベルデザインの問題をゲームと捉えて、コンテンツ生成器を強化学習で学習する手法である。今回は、迷路の最短経路の形状を渦巻型になるように制御を行う。提案する方法としては、強化学習における報酬関数を、最短経路が渦巻型に近いほど報酬を多く与えるように設定し、PCGRLのフレームワークを用いて学習する。