Deep Learning(An MIT Press book) 7.14

技術

Deep Learning(An MIT Press book) の要点メモシリーズ。

Chapter 7 Regularization for Deep Learning

7.14 Tangent Distance, Tangent Prop and Manifold Tangent Classifier

  • 多様体仮説 -データは低次元多様体上にあるはず
  • tangent distance algorithm
  • tangent prop(agation) algorithm
    • Neural Network
    • 出力ユニットの勾配∇f(x)がxの接平面と直行するようなペナルティ項を入れる
      • 接平面方向の移動はクラスが同じなので、勾配に影響を与えたくない
    • dataset augmentationと関係がある
      • データの変化が極小でない場合にも対応したtangent prop
  • double backprop
    • Neural Network
    • （接平面方向だけでなく）全方向の小さな変化に対して出力が不変になる
    • adversarial trainingと関係がある
      • データの変化が極小でない場合にも対応したdouble backprop
  • manifold tangent classifier
    • tangent propとほぼ同じ
    • 接平面をautoencoderで求める（事前知識不要）
      • 体の一部が動く、などtranslation, rotation, scaling以上の不変性を扱える