覚え書きブログ

2015-05-11から1日間の記事一覧

Deep Learning覚え書き(Gradient vanishing問題)

多階層のニューラルネットワークの勾配法を用いた教師あり学習では、下位層のパラメータは出力までにシグモイド関数が何重にもかかるため、勾配がほぼ0になってしまう問題がある。この問題は、最近ではGradient vanishing「勾配消滅」問題と呼ばれている。…