情報処理学会 第86回全国大会 会期:2024年3月15日~17日

6R-09
RAGを用いた有用性の高い技術記事を推薦するモデルとデータセットの開発
○竹内悠人(灘高等学校),菅原 朔(NII)
LLMの台頭は,情報検索分野における文書とクエリの関連性評価及びRAGの性能に新たな可能性を提供している.従来、人の評価者に依存していたデータセット作成の自動化や,RAGを特定ドメインに特化させる研究が進む一方で,日本語文脈における高品質な技術記事の推薦は依然として困難である.本研究では,Web検索結果から高品質な技術記事を効率的に識別する新しい手法を提案し,質の高い情報への迅速なアクセスを支援することを目指す.具体的には,日本語技術記事の有用性を定義したデータセットの構築と,「関連性」「信頼性」「実用性」といった観点からRAGによる尺度化と評価を行い,技術記事の品質の高さを客観的に評価する.