情報処理学会 第77回全国大会講演要旨

MapReduceは，大規模なデータの処理タスクを分割して複数のノードに割り当て，並列処理させることで高速化を目指す技術である．タスクはMapとReduceに分かれており，Reduceタスクでは他のノードからネットワーク越しでのデータの転送を必要とする．しかし，Hadoop MapReduceにおけるReduceタスクの既存割り当て方式は，タスクを登録した順番に選択し，要求したノードに割り当てるため，ノード間のデータ転送量を考慮しておらず，タスクの実行効率が低下してしまう．本研究の手法では，各ノードが処理したMapタスクの処理結果のデータ量を基に，Reduceタスクの割り当てを行うことで，処理時間の短縮を実現する．