情報処理学会 第87回全国大会

2W-05
モーメントリスク安定性と収束性の確保に基づいたStable Scheduled Adam(SSAdam)の提案
○杉浦陸空,中村和幸(明大)
今日までに数多く確立されてきたオプティマイザの有効性は特定のタスクに依存することが知られており,その選定は重要なトピックである.その一種であるAdamは汎用的に多くのタスクに用いられているが、本研究ではstylegan2ファインチューニングにおいて2次モーメントリスクおよび収束性分析の結果,初期学習安定性課題および収束性課題があることを示している.そこで本研究ではLong-warm機能付きの学習率スケジューラーと新たなバイアス補正を導入したSSAdamを提案する.本手法により2次モーメントリスクの可変性を保持しつつ安定性を確保し,学習における安定的な解探索機能および収束性の確保を実現した.また,検証において精度向上の貢献性も示す.