Deep Learning(An MIT Press book) 7.4

技術

Deep Learning(An MIT Press book) の要点メモシリーズ。

Chapter 7 Regularization for Deep Learning

7.4 Dataset Augmentation

  • 分類問題の augmentation は最も簡単
    • 分類は複雑なデータから単カテゴリへの要約。広範囲の変換に対して結果が不変
  • 密度推定に対しては適用が困難
  • 画像分類
    • CNN（=部分的な変換に対して不変なモデル）に対しても translating（移動）, rotating（回転）, scaling（拡大） は有効
    • 正解のクラスを変える変換をしないように注意（6の上下を入れ替えると9になる）
  • out-of-plane rotation のように不変だが実装が難しいものもある
  • 音声認識に対しても有効
  • NNの入力にノイズを入れる
    • 入力にノイズを入れても多くの分類・回帰は解ける
      • しかしロバストではない
      • ランダムノイズを乗せるのが有効
    • 教師なし学習でもノイズを入れるのはやられている
      • denoising autoencoder
    • 隠れ層にノイズを入れるのも有効
    • dropout
  • ベンチマーク