4K-3
遠隔メモリを利用したHadoopの高速化手法の提案
○桑山智耶,中山泰一(電通大)
近年、並列分散処理のためのフレームワークHadoopが注目を集めている。
Hadoopは大量のデータを高速に処理することができるが、与えられた処理によってはタスクの数が制限され、大量の入力を少数のタスクで処理することになってしまう。これにより、処理速度が低下してしまうのが問題である。
この解決策として、クラスタの遠隔メモリをスワップ領域として利用することで、メモリ集約的な処理を高速化する遠隔スワップという技術がある。
本研究の提案手法では中間生成物を遠隔メモリにキャッシュして、さらにその遠隔メモリを遠隔スワップのスワップ領域として用いることで、Hadoopの高速化を行う。