1X-03
必須項目と加点項目による二段階LLM-as-a-Judge
○常藤滉平(同志社大),中辻大地(トランスコスモス),田村晃裕(同志社大),大林弘明,濱田充男(トランスコスモス),加藤恒夫(同志社大)
本研究では、LLMによるLLMの自動評価において、必須項目と加点項目を区別して評価を行う新たな手法を提案する。従来研究では、LLMによる評価時に評価項目を指定することで評価性能が向上することが示されている。しかし、従来手法では最低限満たすべき必須項目と、満たしていれば望ましい加点項目を区別せずに用いていた。提案手法では、第一段階で必須項目に基づく評価を行い、第二段階で加点項目を加味することで、より精緻な評価を実現する。MT-Benchを用いた実験により、提案手法が従来手法よりも高い評価性能を示すことを確認した。