情報処理学会 第81回全国大会講演要旨

データ並列分散深層学習では、複数のワーカーノードで計算された勾配情報を集約・共有するために、Allreduceが行われる。この時、勾配情報のメッセージサイズは100KB以上と大きく、Allreduceのレイテンシが分散深層学習高速化のボトルネックとなることが知られている。本研究では、この集団通信のレイテンシを短縮するために、Allreduceに特化したデータフローアーキテクチャを提案する。実験結果より、提案手法がワイヤスピード（10 Gbps）の96％でAllreduceを実行可能であることが示された。さらに、提案手法は、既存のハードウェア実装によるAllreduceの高速化手法と比べ、ResNet-50と同等のメッセージサイズのデータをAllreduceする時に生じるレイテンシを65％短縮した。