情報処理学会 第80回全国大会講演要旨

ニューラルネットワークにおいて、隠れ変数を多くして複雑な構造を持たせると表現能力が高くなるが過学習を引き起こしやすくなる。そのため、過学習を引き起こしにくくするためには適切な構造を持たせなければならないがそれは経験と勘により設計しなければならないのが現状である。本講演では統計的機械学習モデルのひとつである制限ボルツマンマシンの隠れ変数に対してスパース正則化を行うことで有効な隠れ変数の数を自動調整し、汎化誤差が低減されているすることを報告する。また、制限ボルツマンマシン学習でよく使われる近似計算であるContrastive Divergence法の他, 厳密計算においてもスパース正則化により汎化誤差が低減することを示す。