情報処理学会第85回全国大会 会期:2023年3月2日~4日 会場:電気通信大学

6J-05
マルチインスタンスGPUを用いた推論ワークロードのクラスタスケジューリング
○三井郁央,杉木章義(北大)
NVIDIA マルチインスタンスGPU(MIG)は,2020年にNVIDIAによって発表されたGPUの新たな分割機構である.この技術は従来のMulti Process ServiceやvGPUと異なり,障害分離性を保ったまま複数のジョブを同一GPU内で同時に実行でき,1つのジョブあたり1つのGPUを使用する場合より,コストを削減することが可能である.
本研究では,荷物の組み合わせを考慮したビンパッキング問題に還元することにより,使用するGPU数を最小化するスケジューラを作成した.シミュレーションを行い,インスタンスの分割を固定した場合と比較した.