1S-03
自然勾配法におけるDampingによるFisher情報行列の正定値への影響と鞍点回避
近年の深層学習の最適化手法において、収束性の観点から二次最適化手法が見直されている。特に自然勾配法は計算コストの低い近似手法であるK-FACの提案により注目を集めている。これらの手法ではフィッシャー情報行列Fの逆行列を求める必要があるが、深層学習の設定ではFが退化する問題がある。そこで、Fの正定値性を保つため一般にDampingと呼ばれるヒューリスティックな調整手法が用いられている。本研究ではDampingが学習に与える影響を調査した。結果として、Damping係数の大きさにより学習前半と後半の振る舞いが異なること、特に、係数が大きい場合は学習初期の鞍点回避効果があることが示された。