情報処理学会 第77回全国大会講演要旨

　近年、世界中の情報量が爆発的に増加しており、その情報を収集・蓄積・分析して有効に利用できないかと話題になっている。その膨大な情報を扱う方法として、ASF(Apache Software Foundation)が開発・公開しているHadoopが注目されている。
　一般にHadoop MapReduceは、Map処理とReduce処理の二段階でデータの処理を行う。Map処理は、分割されているデータの断片を加工したり、必要な情報を抽出したりする。Reduce処理は、Map処理の出力をまとめ、整理し、最終的な結果を出力する。よって、多数のMap処理の出力を単一のReduce処理に入力として与えるようなワークロードでは、Reduce処理がI/Oバウンドとなる。
　本研究では、Hadoop MapReduceのこのボトルネックに着目し、MapReduce処理のI/O高速化手法についての考察を行う。