情報処理学会 第87回全国大会

1ZK-04
歴史資料画像内オブジェクトの類似資料検索システムの構築
○木村星凱,奥野 拓(はこだて未来大)
本研究では、デジタルアーカイブ上の歴史資料画像を対象に画像内の歴史的オブジェクトと視覚的に類似する画像資料を検索できるシステムを提案する。本システムでは、資料画像内のオブジェクト領域を矩形で指定し、セグメンテーションモデルのSegment Anything Modelを用いてオブジェクトを抽出する。抽出オブジェクト画像からVision Transformerを用いて特徴量を抽出し、画像資料とのコサイン類似度を算出することで類似資料を探索する。また、検索タスクに特化した損失関数を設計し、類似度計算の精度を高める。そして類似度順に画像資料を表示することにより類似するオブジェクトの探索を支援する。