Chapter 7 Regularization for Deep Learning

7.11 Bagging and Other Ensemble Methods

bagging = bootstrap aggregating
- 個別に訓練した複数のモデルで投票
- model averagingの一例
  - model averagingを使った手法はensemble methodsと呼ばれる
model averagingの各モデルは通常、モデルの種類、学習アルゴリズム、目的関数に違うものを使う
- 複数のモデルの誤差に相関が少ないほどmodel averagingの効果が大きい
- ensembleするモデル数が多いほどmodel averagingの効果が大きい
baggingは同じ種類のモデル、学習アルゴリズム、目的関数を使える
- モデルごとにデータセットを変える
  - 元のデータセットから一定数サンプリング
- deepでは同じデータセットでも大丈夫
  - パラメータの初期値による差、ミニバッチの差、非決定的な実装によって毎回違う結果になるので
model averagingは計算リソースを増やすだけ効果があるので論文のベンチマークでは使われない
model averagingの最近の成果はNetﬂix Grand Prize
全てのensembleが単一のモデルより汎化性能を高めるようにデザインされているわけではない
- boostingはモデルに層を追加して新しいモデルを作る