4Q-04
WebAssembly runtime上でのLLM推論の性能評価
○重松蒼乃(お茶の水女子大),山岡茉莉,青木望美,藤田裕志,平井 聡,三輪真弘(富士通),小口正人(お茶の水女子大)
近年,大規模言語モデル(LLM)が多様な分野で活用されている.しかし,LLMの推論処理はクラウド上での実行が一般的であり,プライバシーリスクや通信遅延といった課題がある.解決策の一つとしてエッジコンピューティングがあるが,エッジ環境では計算資源に制約があり,デバイスのアーキテクチャも多様である.そこで本研究では,アーキテクチャ非依存かつ軽量な実行環境を提供するWebAssembly(WASM)に着目し,WASM上でのLLM推論の性能特性を調査する.WASM環境におけるパラメータの影響を測定するとともに,非WASM環境での実行との性能比較を行い,エッジ環境への適用可能性を検討した.