情報処理学会第85回全国大会 会期:2023年3月2日~4日 会場:電気通信大学

7S-08
CLIPを用いた説明可能なfew-Shot魚種分類手法
○田中基貴,長谷川達人(福井大)
従来の機械学習を利用する魚種分類手法は,多様な魚種に対応する学習用のデータを作成することが課題となっている.そこで本研究ではテキストと画像の関連性を計算できるCLIPと呼ばれるモデルを利用してfew-Shotに魚種分類を行う手法を提案する.提案手法では魚を任意のテキストプロンプト群で表現するとともに,最適なプロンプトを自動的に探索することで高精度にクラス分類を行う手法を実現した.これにより物体名と画像が上手く結びつかないようなドメインにおいてもわずかなサンプルデータからクラス分類を行うことが可能になり,さらにモデルの分類根拠が分かりやすい形で得られるようになる点が本研究の新規性である.