5J-05
マルチGPU上での畳み込みニューラルネットワークにおけるハイブリッド並列処理
○綿貫 幸,吉田明正(明大)
深層学習は広い分野で活用されているが,性能向上を目的とした訓練データやパラメータの増加により,学習時間の増加が課題となる.そこで,マルチGPUを用いた並列処理による高速化が期待されている.本研究では,マルチGPU環境において各GPUに複数ステージを割り当てるモデル並列と,モデルを複製し複数のバッチを同時に処理するデータ並列を併用したハイブリッド並列処理手法を提案し,深層学習の高速化を図る.性能評価においては,C++による画像分類CNNプログラムを作成し,CUDAとOpenMPを用いて並列処理を実装した.NVIDIA Tesla K80搭載Xeonサーバ上で評価を行った結果,提案手法の有効性が確認された.