機械学習と関数型プログラミングには多くの類似性を持ち、近年それらを結びつけるDifferentiable　Programmingというアイデアが新しく出てきた。この方法はパラメータを直接調節して勾配を求められることが今までと大きく違う。これにより物理シミュレーションなど様々な分野に適用できることが期待されている。私たちは強化学習のベンチマークを用いてDQNの手法とDifferentiable Programmingの手法を比較し、Differentiable programmingの効果及び学習ダイナミクスを調査し説明する。