情報処理学会 第87回全国大会

6J-03
LLM推論におけるGPUリソースと性能の関係調査
○髙頭まどか(お茶の水女子大),平井 聡,木下怜佳,三輪真弘(富士通),小口正人(お茶の水女子大)
ChatGPTをはじめとする大規模言語モデル(LLM)への注目が高まるとともに、それらを高速に処理するGPUの需要も急激に増加している。これにより世界的なGPU不足と価格の高騰が続き、今後ますます深刻化していくことが予測されている。そこで、GPUリソースの効率的な利用に向け、モデルごとに最低限必要なリソース量を明らかにし、最適なリソース割り当てを実現することを目指す。本研究では、LLM推論を実行する際にGPUリソースを制限してスループットやレイテンシ等の性能測定を行い、各モデルに必要なリソースと性能の関係について調査した結果を報告する。