4U-02
DNNの自己蒸留における学習時間の短縮
○高木純平，服部元信（山梨大）
蒸留は,教師ニューラルネットの学習によって獲得した知識を生徒ニューラルネットの学習に用いることでより高精度な生徒を作成する手法である.また,作成した生徒を教師としてさらに蒸留を行うことでより高精度な生徒を作成できることもわかっている.しかし,そのような複数世代の蒸留は学習に時間がかかる問題がある.そこで本稿では,蒸留に必要な世代数を削減し,学習時間を短縮することを目的とし,学習途中に得られた最高精度のネットワークを教師として1世代内で蒸留を行う自己蒸留を提案する.画像分類タスクにおいて自己蒸留が,従来の蒸留に比べて少ない世代,短い学習時間で高精度を獲得できることを確認した.
footer 著作権について 倫理綱領 プライバシーポリシー セキュリティ 情報処理学会