情報処理学会 第87回全国大会

1Q-07
事前学習済みBERTに適する新トークン表現獲得手法の開発と評価
○三谷一真,松井くにお(金沢工大)
大規模言語モデル(LLM)の普及に伴い、独自ドメインの言語資源を活用するニーズが生まれた。しかしLLMを再学習させるためには、大量のデータと計算コストが必要という課題がある。この課題に対処するため、事前学習済み言語モデルに適する新トークン表現を、再学習を必要とせず生成する手法を提案する。提案手法について、可視化と下流タスク応用の両面から評価を行い、提案手法の実用性を総合的に示す。これにより、ドメイン固有の知識を効率的にモデルに取り入れる新たなアプローチを提供し、自然言語処理分野におけるモデルの適応性と汎用性の向上に貢献する。