深層学習では一般に，学習パラメータが膨大である巨大なモデルほど高い性能を示すが，大きなメモリサイズを必要とする難点がある．これを解決するため提案された知識蒸留は，巨大モデルの出力を小さいモデルに学習させることで，モデルの圧縮を実現した．しかしこの手法では，巨大モデルが学習したパラメータを継承することはなく，初期化されたパラメータからの学習により，多くの学習時間を要する．本論文では，巨大モデルが学習したパラメータはパラメータ空間内に偏在することに注目し，それらが形成するクラスタに基づいてパラメータを集約することで，モデルを圧縮する手法を提案する．また，本手法による転移学習への有用性も検証する．