機械学習の画像認識のタスクはCNNが主流であるが，近年Transformerベースのモデルも増えている．また，実用化のためにモデルを軽量化し，計算コストを下げる研究も行われている．モデル軽量化に関しては，知識蒸留，枝刈り，量子化などの手法が提案されており，本稿では画像分類のタスクで広く利用されているVision Transformerへの知識蒸留と枝刈りを利用した軽量化手法を提案する．特に，Attention機構と呼ばれるモジュールに対して知識蒸留を行い，各チャンネルの重要度をhard-distillationで求め，枝刈りを行う．性能評価では，CIFAR10をデータセットとして学習したVisionTransformerモデルに対して，提案手法を適用することにより，推論速度を向上させ，モデル重量の軽減を実現した．