Deep Learning(An MIT Press book) 7.5.1

技術

Deep Learning(An MIT Press book) の要点メモシリーズ。

Chapter 7 Regularization for Deep Learning

7.5 Noise Robustness

  • いくつかのモデルでは分散が無限小のノイズを入力に加えるのは、重みのノルムにペナルティをかけるのに等しい
    • 一般にノイズを加えることはパラメータのshrinkよりも強力
    • 隠れ層にノイズを加えるのは特に重要（cf. dropout）
  • 重みにノイズを加える方法もある（cf. RNN）
    • 重みに対するベイズ推定の統計的実装
    • | {\nabla}_w y |^2 （モデルの勾配のノルム）を正則化項として加えるのに等しい
      • 周辺が平らな極小値を見つける効果
      • モデルが線形の場合は効果がない

7.5.1 Injecting Noise at the Output Targets

  • 多くのデータセットでは正解ラベルに誤りが混ざっている
    • ラベルにノイズを乗せたモデルで扱う
      • 出力をsoftmaxに通す（ラベルスムージング）
        • 0, 1に収束しないので無限に学習が続いて重みが肥大化する
          • weight decay を使う