Deep Learning(An MIT Press book) 7.9 - 7.10

技術

Deep Learning(An MIT Press book) の要点メモシリーズ。

Chapter 7 Regularization for Deep Learning

7.9 Parameter Tying and Parameter Sharing

  • ここまでの正則化は固定領域に対して行ってきたが、それとは別にドメイン知識で制約をかける場合がある
    • 類似な2つの問題を解く場合、それぞれの重みの差のノルムにペナルティをかける
      • 例：教師ありで学習したモデルの重みから大きく離れないように教師なし学習をする
  • parameter sharing
    • 差にペナルティをかけるのではなく完全に同じにする
    • パラメータ数を低減できる利点がある
      • 例：CNN

7.9.1 Convolutional Neural Networks

  • 画像中の物体が平行移動に対して不変であるという知識を利用

7.10 Sparse Representations

  • L1のように重みを疎にする他にも、隠れ層の出力（representation）を疎にする方法がある
    • Ω(w)の代わりにΩ(h)を使う
  • OMP-k
    • argmin_{h, \| h \|_0 \leq k} \| x-Wh \|^2
      • \| h \|_0はhの中の非ゼロの要素数
    • OMP-1（Wを構成する縦ベクトルのうちxに最も近いものを選ぶ）が特に効果的