大規模データセットで学習された基盤モデルは高い分類精度を示す一方，そのデータセットやモデルの大きさゆえに膨大な計算資源を要するという欠点がある．これを克服するために知識蒸留という手法が提案されている．そのなかでも，下流タスクの少数のデータから基盤モデルの知識を効率的に蒸留するため，生成AIを用いてデータセットを拡張する方法が研究されている．
　本研究では基盤モデルであるCLIPの特徴により画像を生成し，生徒モデルが画像生成に利用されたCLIPの潜在表現を予測する蒸留を行う．CLIPからVITやCNNにSTL10などのデータセットの知識を蒸留することで，高い分類精度を得ることを試みる．