2D-01
Fisher情報行列の解析に基づく大規模深層学習のための二次最適化手法
○大沢和樹，横田理央（東工大），Chuan-Sheng Foo，Vijay Chandrasekhar（シンガポール科学技術研究庁）
画像データセットImageNetを始めとする巨大データセットを用いる大規模深層学習においては，膨大な学習時間が最適なパラメータ探索の障害となっている．学習時間の短縮を目的とした既存研究では，コスト関数の最小化に単純な一次最適化手法が用いられ，計算機の性能に頼った高速化手法が提案されてきた．一方で，自然勾配法は深層学習における効率的な二次最適化手法として知られているが，パラメータ数に依存するFisher情報行列の計算がボトルネックとなり，応用は限られていた．本研究では，これまで明らかにされてこなかった大規模深層学習におけるFisher情報行列の解析に基づき，より効率的な二次最適化手法を提案する．
footer 著作権について 倫理綱領 プライバシーポリシー セキュリティ 情報処理学会