情報処理学会 第86回全国大会 会期:2024年3月15日~17日

7ZC-08
LLMサーバ構成を選択するための評価支援システムの提案
○高瀬和真,太田 晶,小林彰人(日本工学院八王子専門学校),田中雅人(エイビット)
大規模言語モデル(LLMs:Large language models)についてビジネス利用するにあたり,情報漏洩等のセキュリティリスクを懸念する声が上がっている.この際に,セキュリティリスクを最小化する方法として,ローカル環境でのLLMを活用したシステムが求められている.一方で、活用するLLMに対して,どのような計算資源が必要か,一般的なベンチマーク等から理解し選定することは容易ではない.このため,開発者がローカルLLMの動作を容易に評価できるよう,GPUインスタンスとLLMの推論環境を一時的に自動構成し,スループットやレイテンシーを計測できる支援システムを提案する.