情報処理学会 第78回全国大会講演要旨

大規模データ向けインメモリ型分散処理フレームワークSparkにおける、リダクション及びトランスフォーメーション処理をGPUを用いて高速化する。既存のSparkは、再構成可能データセットであるRDDを用いてデータを処理するが、GPUを考慮しないためGPUが備わっていても活用できない。この論文では、計算インテンシブな処理の際、RDDを基にした配列を作成しGPUデバイス側に転送してCUDAで処理することを提案する。これにより、Sparkのリダクション及びトランスフォーメーションの計算量が多い操作を高速化できる。また、これらの操作は従来のSparkのRDD操作と同様に行え、制限はほとんどない。