抄録
F-026
微分可能な活性化関数に基づく誤差逆伝播法の拡張
○宮内 敦（高度情報科学技術研究機構）
最近の多層ニューラルネットワークでは活性化関数としてReLUを用いることが多い[1]。しかし、この関数は原点で微分値が定義できず導関数は不連続となる。学習過程において誤差逆伝播法を用いる場合、この不連続性によって信号の流れが滑らかに進まず収束過程に悪影響を与える可能性が考えられる。微分可能なReLUはこれまでいくつか考案されているが、本稿ではより簡単な構成方法を提案し、さらにそれを用いた誤差逆伝播法の拡張を示す。
