2R-08
CNN Max-pooling層の初期化法
○佐藤貴亮(群馬大),廣橋義寛(デンソー),太田直哉,加藤 毅(群馬大)
逆伝搬法による深層学習では,ネットワーク内の重み係数に適切な初期化を施さないと,勾配の消失や爆発が問題になる.全結合層や畳み込み層においては,シグモイド関数,tanh関数,ReLU関数を活性化関数に使った場合の初期化法が確率モデルをベースに導出され,広く使われている.一方,Max-pooling層まで考慮した重み係数の初期化はあまり検討されてこなかった.本研究では,Max-pooling層も考慮した初期化法を開発し,数値実験により初期化の効果を検証した.

footer 著作権について 倫理綱領 プライバシーポリシー セキュリティ 情報処理学会