情報処理学会 第78回全国大会講演要旨

Hadoopの登場は今まで不可能だった大規模のデータの蓄積と分析を可能にした。特にHiveのようなSQL-on-Hadoopエンジンを利用することでSQLに慣れているデータ分析家であれば特別なトレーニングを受けなくても容易にHadoopのパワーを活かすことができた。しかし、既存のRDBMSとは違ってHadoopではデータ更新や遅延挿入が困難な問題点も存在する。本論文では商品マスターテーブルのように更新頻度が低いデータを対象として複数のSQL-on-Hadoopエンジンの時空間効率を比較する。幅広く使われているがデータ更新や遅延挿入ができないHiveとそれらが可能になったHive-on-HBase、Phoenixを比較することで扱うデータの特性によってどのアプローチを取ることがデータの蓄積と処理に有利なのかを判断することが可能である。