2D-07
大規模言語モデルにおける指示文の解釈多様性とタスク成功率の関係性評価
○中村光貴,小林克希,乙村浩太郎,中村光佑,羽藤淳平(三菱電機)
大規模言語モデル(LLM)に与える指示文はLLMのタスク成否に大きな影響を与えるが、指示文の良しあしを評価する定量的な指標は確立されておらず、ユーザーは直観や試行錯誤、経験的なノウハウに依存した非効率的な指示文の作成・調整を余儀なくされている。本研究では指示文の良しあしの定量化を目指し、タスクの成否を握る要素として指示文の解釈多様性に着目する。指示文の解釈多様性をSemantic Entropyと呼ばれる尺度を用いて定量化し、タスク成功率との関係性を評価した結果、指示文の解釈多様性が高ければタスクは失敗しやすく、低ければタスクは成功しやすいことを示唆する傾向を捉えることができた。