情報処理学会 第88回全国大会

2ZD-06
ViTとStyTr2を用いた画風の類似性に着目したイラスト検索
○吉岡みふゆ,長名優子(東京工科大)
イラストの画風を考慮して検索が行える手法として、畳み込みニューラルネットワークを用いた手法が提案されている。それに対し、Transformerを基盤とした画像を扱う手法であるVision Transformer (ViT)のTransformer Encoderの出力であるクラストークンに対応する埋め込みベクトルを特徴量として風景画像の検索を行う手法も提案されている。また、ViTベースで画風変換を行うImage Style Transfer with Transformer(StyTr2)も提案されている。StyTr2は画像の内容を表す埋め込みベクトルを生成するContent Encoderと画風のスタイルを表す埋め込みベクトルを生成するStyle Encoderとから構成されているが、Style Encoderの出力が画風の特徴を効果的に表現できる特徴量として利用できる可能性があると期待できる。本研究では、ViTとStyTr2を用いた画風の類似性に着目したイラスト検索を提案する。