情報処理学会 第87回全国大会

4K-03
Apache Spark における計算機資源を有効活用するためのタスク割り当て制御
○林 彩菜,芝 公仁(龍谷大)
近年,ビッグデータ解析や機械学習の需要が増大する中,これらの大規模データ処理を効率的に実現するため,並列分散処理フレームワークであるApache Sparkが広く利用されている.しかし,Sparkのクラスタ管理方式では,計算機資源の割り当てが固定的で動的な調整が難しい.そのため,過剰な計算機資源割り当てや無駄な遊休資源が発生しやすく,処理性能が低下することがある.本論文では,計算機資源を最大限に活用することを目的に,タスク割り当て制御手法についての提案を行う.本手法では,計算機資源の使用状況に基づいた並列タスク数を調整する.これにより,負荷変動への対応や,より高いスループットが実現できる.