2T-04
複数蒸留モデルのパラメータの検証
○船田 毅,櫻井義尚(明大)
蒸留技術はモデル圧縮や知識の抽出において広く用いられ,様々な手法が提案されている。そして,複数の蒸留手法を組み合わせる事で精度が向上することが示されているが、その精度は組み合わせる際のパラメータに大きく依存しており,その設定方針も明らかにされていない。本研究では,複数の蒸留手法を組合せたモデルを用いる際の組み合わせパラメータについて,比較実験を行い,その傾向について分析する。具体的には既存手法である三つの蒸留手法を用いた深層学習モデルにおいて,画像分類タスクで様々なパラメータでの精度の比較を行う。