Deep Learning(An MIT Press book) 7.3

Deep Learning(An MIT Press book) の要点メモシリーズ。

Chapter 7 Regularization for Deep Learning

7.3 Regularization and Under-Constrained Problems

  • 正則化機械学習の問題を正しく定義するのにも使う
    • 線形回帰やPCAはXT Xが特異(非正則)だとだめ
      • 観測されたデータの生成分布に分散がない場合、特異になる
        • 特徴量の数に比べてデータ数が少ないとそうなる
      • 正則化項を加えるとXT X + αIになり、これは正則
  • 閉形式で解が求まらない問題(underdetermined problems)
    • ロジスティック回帰はwが線形分離できる重みのとき、cwも線形分離できる
      • SGDでwが際限なく大きくなる
        • 正則化によってwの大きさに制限をかけられる
  • (XT X + αI)^-1 XTのα→0がMoore-Penrose pseudoinverse(擬逆行列