Deep Learning(An MIT Press book) の要点メモシリーズ。
Chapter 7 Regularization for Deep Learning
7.13 Adversarial Training
- adversarial example
- 人間が見ても区別できないが、モデルが正解を間違うようなデータ
- adversarial training
- adversarial exampleを使って汎化性能を高める
- 過度に線形なモデルはデータの少しの差でも結果に大きく影響する（e → e|w|）
- ロジスティック回帰はほぼ線形なのでだめ
- 線形な傾向と局所的なconstantを両立する表現力がdeepにはある
- adversarial trainingは近くにあるデータに対して局所的にconstantになるように学習される
- virtual adversarial example
- 半教師あり学習
- 近傍にあるがモデルが出力したラベルが異なる点をadversarial exampleとして使う
