Deep Learning(An MIT Press book) の要点メモシリーズ。
あっ、これPRMLで出てきたやつだ!な話。
Chapter 7 Regularization for Deep Learning
- 効率的な regularizer はバイアスをそんなに増やさずにバリアンスを大幅に減らす
- 過度に複雑な(=バリアンスの大きい) mode family は必ずしも true data-generating process を含んでいるとは限らない
- deep の場合はほぼ確実に true data-generating process は model family の外にある
- deep は本質的に全宇宙のシミュレーションを含んでいるので(つよい)
- deep の場合はほぼ確実に true data-generating process は model family の外にある
7.1 Parameter Norm Penalties
- NN ではアフィン変換の重みにだけ正則化をかける(バイアスは除く)
- wで正則化するパラメータを、θで全パラメータを表す
- 層ごとに違うα(正則化項の係数)をかけてもいいが探索空間が大きくなるので同じにするのが妥当