抄録
G-008
ニューラルネットワークの分散学習における新たな合意重み決定法
原田和明・右田剛史・高橋規一(岡山大)
近年,大規模な訓練データを複数のニューラルネットワークに分散的に学習させる方法が提案された.これは,各ニューラルネットワークが,自身に割り当てられた訓練データに対する損失を減少させる処理(局所最適化)と,自身のパラメータ値を近傍のニューラルネットワークのパラメータ値の重み付き平均に置き換える処理(合意更新)を交互に繰り返し行う方法であり,ニューラルネットワーク間の通信を表すグラフの構造や合意重み等に関するいくつかの条件の下で収束性が証明されている.本発表では,新たな合意重み決定法を提案し,上記の条件を満たさなくても合意が達成されることや,従来法よりも速く収束することを実験的に示す.