6S-05
ニューラルネットワークの真の最適解から損失ランドスケープを可視化する
この論文では、最適解ではなく真の最適解からニューラルネットワークの損失関数を可視化するアルゴリズムを提案した。
最高の一般化能力を持つ解は真の最適解と呼ばれ、観測などの制限があるため、実験で取得するのは困難である。このため、真の最適解が局所最適解よりも重要である場合でも、今までの可視化作業のほとんどは、トレーニングから得られた局所最適解から損失ランドスケープの特性を分析すること。
今回の実験では、トレーニング済みモデルを使って、データにラベルを付け直すことにより、現在の局所最適解は、新しくラベル付けされたデータセット上で真の最適解パフォーマンスを取得できるため、真の最適解として損失ランドスケープが可視化できるようになる。
最高の一般化能力を持つ解は真の最適解と呼ばれ、観測などの制限があるため、実験で取得するのは困難である。このため、真の最適解が局所最適解よりも重要である場合でも、今までの可視化作業のほとんどは、トレーニングから得られた局所最適解から損失ランドスケープの特性を分析すること。
今回の実験では、トレーニング済みモデルを使って、データにラベルを付け直すことにより、現在の局所最適解は、新しくラベル付けされたデータセット上で真の最適解パフォーマンスを取得できるため、真の最適解として損失ランドスケープが可視化できるようになる。