FIT2015第14回情報科学技術フォーラム 開催日:2015年9月15日(火)~17日(木) 会場:愛媛大学城北キャンパス
抄録
RC-003
ファイル格納位置制御によるHadoop MapReduceジョブの性能の向上
藤島永太・山口実靖(工学院大)
膨大な情報を扱う方法として、Hadoop MapReduceに注目が集まっている。MapReduce処理では、多数のMap処理の出力を単一のReduce処理に入力として与えるようなワークロードでは、Reduce処理がI/Oバウンドとなる場合がある。本稿ではまず、単一Reduce処理のボトルネックがReduce処理ノードのI/O処理にあること、そのI/O処理が主にシーケンシャルアクセスであることを示す。そして、ファイルシステムのファイル格納位置の制御によるシーケンシャルアクセス性能向上手法を提案し、性能評価によりその有効性を示す。