情報処理学会 第86回全国大会 会期:2024年3月15日~17日

7T-05
ViTエンコーダを活用した画像キャプション生成モデルの構築と評価
○岡本翔汰,黒田久泰(愛媛大)
画像キャプション生成は,画像を入力すると画像の内容を説明する文章(キャプション)を生成する処理である.この研究では,Transformerアーキテクチャを持つ事前学習済みのVision Transformer(ViT)を画像キャプション生成のためのエンコーダに採用した.ViTは,画像を細かく分割し,その特徴をTransformerによって抽出する特異的なアプローチを提供している.CNNを用いた画像キャプション生成モデルとViTエンコーダを導入したモデルを比較し,その性能を評価した.