Deep Learning(An MIT Press book) 7.11

Deep Learning(An MIT Press book) の要点メモシリーズ。

Chapter 7 Regularization for Deep Learning

7.11 Bagging and Other Ensemble Methods

  • bagging = bootstrap aggregating
    • 個別に訓練した複数のモデルで投票
    • model averagingの一例
      • model averagingを使った手法はensemble methodsと呼ばれる
  • model averagingの各モデルは通常、モデルの種類、学習アルゴリズム、目的関数に違うものを使う
    • 複数のモデルの誤差に相関が少ないほどmodel averagingの効果が大きい
    • ensembleするモデル数が多いほどmodel averagingの効果が大きい
  • baggingは同じ種類のモデル、学習アルゴリズム、目的関数を使える
    • モデルごとにデータセットを変える
    • deepでは同じデータセットでも大丈夫
      • パラメータの初期値による差、ミニバッチの差、非決定的な実装によって毎回違う結果になるので
  • model averagingは計算リソースを増やすだけ効果があるので論文のベンチマークでは使われない
  • model averagingの最近の成果はNetflix Grand Prize
  • 全てのensembleが単一のモデルより汎化性能を高めるようにデザインされているわけではない
    • boostingはモデルに層を追加して新しいモデルを作る