情報処理学会 第80回全国大会講演要旨

近年、深層学習は幅広い人工知能の問題において他手法を圧倒する高い性能を発揮しており、多くの研究者や技術者らに注目されている。その反面、大規模なニューラルネットワークを学習させる必要があり、ここに膨大な計算時間がかかるため、学習の高速化が求められる。学習には確率的勾配降下法が広く用いられているが、プラトーと呼ばれる学習の停滞が生じやすいという欠点がある。
甘利らが提案した自然勾配学習法ではこの停滞が生じないことが示されている。また、学習速度や収束速度は学習パラメータに依存しているため、本研究では、この自然勾配法の計算を近似するための最先端の手法であるMartensらによるK-FAC法の学習パラメータの最適化を行った。