2ZB-08
GhostViTの推論高速化に向けた構造的再パラメータ化の適用と評価
○岡山慎吾,佐々木智志,中野秀洋(東京都市大)
軽量化されたVision Transformerの一つであるGhostViTは、計算量の削減には成功しているものの、チャネル結合による分岐構造が推論速度を抑制する要因となっている。そこで本研究では、GhostViTの構成要素に対し構造的再パラメータ化の手法を適用した新たなアーキテクチャを提案する。本手法は、学習時に加算ベースの並列構造を用いて表現能力を高め、推論時にはそれらを数学的に単一の層へ融合することで、分岐のない高速な推論を実現する。評価実験の結果、従来のGhostViTと比較して、推論速度が向上することを確認した。