Deep Learning(An MIT Press book) の要点メモシリーズ。
今日の範囲は隠れ層の後半。ReLU 以外の諸々の話。
Chapter 6 Deep Feedforward Networks
6.3 Hidden Units
6.3.2 Logistic Sigmoid and Hyperbolic Tangent
- sigmoidal なユニット
- logistic sigmoid
- hyperbolic tangent
- sigmoidal なユニットはドメインの大半で saturate し、0周辺でのみ strongly sensitive
- 勾配法には向かないので、隠れ層で使うのはよくない
- 出力層ならコスト関数で打ち消せるので大丈夫
- logistic sigmoid よりも hyperbolic tangent のほうがよい
- なので tanh は0付近で identity function のように振る舞う
- RNN、確率モデル、autoencoder では piecewise linear なユニットが使えない場合 sigmoidal なユニットを使う