情報処理学会 第82回全国大会 会期:2020年3月5日~7日 会場:金沢工業大学 扇が丘キャンパス 情報処理学会 第82回全国大会 会期:2020年3月5日~7日 会場:金沢工業大学 扇が丘キャンパス

4S-08
確率的重み付け平均法のラージバッチ学習における有用性の検証
○所畑貴大,長沼大樹,横田理央(東工大)
近年の深層ニューラルネットワークモデルの学習には膨大なパラメータやデータを用いるため、学習時間が増加する傾向にあり、学習の高速化が喫緊の課題である。単純に一度に用いるデータ量を増やすことで高速化を図るラージバッチ学習では、スモールバッチ学習でのNoiseの影響が少なくなるため、汎化性能の低いSharpな解への収束へと陥ることが経験的に示されている。本研究では、モデルのパラメータを確率的に平均化する手法であるSWA(Stochastic Weight Averaging)をラージバッチ学習に適用することで、汎化性能劣化問題への改善効果を検証する。