7T-06
Hadoopにおけるreduceタスク割り当ての改善手法
○白水達也,芝 公仁(龍谷大)
 Apache Hadoopとは大規模データの蓄積・分析を分散処理によって実現するオープンソースのミドルウェアである.Hadoopは大まかにファイルシステムのHDFSとリソース管理システムのYARN,処理フレームワークのMap Reduceによって成りたっている.YARNではリソースがコンテナ単位で管理され,柔軟なタスク割り当てが可能である.しかし,reduceタスクの割り当て時,単純な先行順でreduceタスクを割り当ててしまうという欠点がある.本講演では各ノードに保存されている中間データの容量から割り当てタスクを計算し,通信データ量を削減する手法を提案する.

footer 著作権について 倫理綱領 プライバシーポリシー セキュリティ 情報処理学会