情報処理学会 第75回全国大会講演要旨

我々は、これまでに表構造テキストデータに特化した大規模データの効率的処理システムKGMODを開発してきた。
しかしながら、並列処理の仕組みを導入していなかったため、テラバイトを超えるデータ処理には限界があった。
一方で、Hadoopのような汎用的な並列処理システム上でKGMODを運用することも可能ではあるが、その汎用的なシステム構成では表構造の特性を生かしきれない。
そこで、本開発では、表構造に特化した並列分散処理システムの開発を進めてきた。
Hadoop上で動作する代表的な表構造データ処理システムであるHIVEを凌ぐ性能を達成している。
本発表では、その開発コンセプトを示すとともにシステムのデモンストレーションを行う。