情報処理学会 第88回全国大会

2D-04
大規模言語モデル性能推定指標LMCRにおけるトークン化性能評価機構の改良
○佐藤 哲,五十幡直洋(パーソルキャリア)
LMCR指標は,情報圧縮技術を利用して大規模言語モデル(LLM)の性能を推定・数値化する指標である.LLMの性能推定ではトークン化と次トークン予測の評価が重要であるが,LMCR指標はトークン化を実行するトークナイザの性能を十分に考慮できていない問題があった.そこで本研究では,トークナイザの語彙数と処理結果を考慮することで,LMCR指標のLLM性能推定精度を向上させる手法を提案する.改良したLMCR指標のLLM性能推定精度は,Open Japanese LLM Leaderboard LLM Benchmarkのスコアとの比較により検証する.