情報処理学会第85回全国大会 会期:2023年3月2日~4日 会場:電気通信大学

1U-07
深層学習における勾配の前処理法に関する検討
○石川智貴,横田理央(東工大)
2次の情報行列を用いて最適化を行う2次最適化は,深層学習の最適化を高速化することが報告されている.しかし2次最適化はメモリ消費量や計算量が多いことから研究例が少ない.また様々な2次最適化手法が提案されているが,それらを横断的に比較検討する研究はほとんどなされていない.そこでMLP,CNN,Vision Transformerなどのモデルを用いて2次最適化の手法ごとの特性の違いを調査した.とりわけ本研究では深層学習の最適化の研究においてあまり考慮されていなかったメモリ消費量や計算量にも着目して比較検討を行った.これにより2次最適化の研究において,タスクに応じた最適な設定を選択できるようになった.