Deep Learning(An MIT Press book) の要点メモシリーズ。
Chapter 7 Regularization for Deep Learning
7.3 Regularization and Under-Constrained Problems
- 正則化は機械学習の問題を正しく定義するのにも使う
- 線形回帰やPCAはXT Xが特異(非正則)だとだめ
- 観測されたデータの生成分布に分散がない場合、特異になる
- 正則化項を加えるとXT X + αIになり、これは正則
- 閉形式で解が求まらない問題(underdetermined problems)
- ロジスティック回帰はwが線形分離できる重みのとき、cwも線形分離できる
- (XT X + αI)^-1 XTのα→0がMoore-Penrose pseudoinverse(擬逆行列)