情報処理学会 第84回全国大会 会期:2022年3月3日~5日 情報処理学会 第84回全国大会 会期:2022年3月3日~5日

6S-05
ニューラルネットワークの真の最適解から損失ランドスケープを可視化する
○王 汝沁,ラック ターウォンマット(立命館大),张 恩智(北大)
 この論文では、最適解ではなく真の最適解からニューラルネットワークの損失関数を可視化するアルゴリズムを提案した。
 最高の一般化能力を持つ解は真の最適解と呼ばれ、観測などの制限があるため、実験で取得するのは困難である。このため、真の最適解が局所最適解よりも重要である場合でも、今までの可視化作業のほとんどは、トレーニングから得られた局所最適解から損失ランドスケープの特性を分析すること。
 今回の実験では、トレーニング済みモデルを使って、データにラベルを付け直すことにより、現在の局所最適解は、新しくラベル付けされたデータセット上で真の最適解パフォーマンスを取得できるため、真の最適解として損失ランドスケープが可視化できるようになる。