情報処理学会 第88回全国大会

4B-03
LLMベースドレコメンドモデル蒸留におけるコストと精度のトレードオフ評価
○上野雅史,佐藤 哲,五十幡直洋(パーソルキャリア)
sequential-recommendにおいて、LLMベースドレコメンドモデルはIDを入力とするレコメンドモデル(SASRecなど)を上回る精度を持つが、一つ一つの推薦アイテムを文字列で受け取り、推薦結果を文字列として生成するため、計算コストが高く、商用利用が容易ではない。
近年LLMベースドレコメンドモデルを軽量なモデルに上流する手法が提案されており、上流後のモデルは高速に推論できるが、蒸留の学習自体の処理が重く、実用上の課題になっている。
そこで本研究では、先行研究(DLLM2Rec)の実行時間や要求計算資源などのコスト部分を実行ステップごとに明らかにし、使用モデルの変更や学習サンプリング数の削減等、精度低下を伴う高速化を実施した場合の実行速度と精度のトレードオフを調査する。