Deep Learning(An MIT Press book) の要点メモシリーズ。
順番に全結合していくネットワークじゃないやつもあるよ、って話。
Chapter 6 Deep Feedforward Networks
6.4 Architecture Design
6.4.2 Other Architectural Considerations
- 単純に層を重ねるタイプのネットワークでは深さと層の幅を主に考える
- 単純なネットワーク以外にも computer vision での CNN や系列処理での RNN などがある
- skip connection: i 番目の層から i+2 番目以降の層に connect する
- 直接 connect している層より入力に近い層への勾配が取れる
- 層同士をどのように connect するか
- 行列による線形変換は全結合
- 入力側のユニットは出力側のユニットの部分集合に対して connect してもよい
- パラメータが減り計算コストが減るが、扱う問題に大きく依存する
- computer vision では CNN が有効、など
- パラメータが減り計算コストが減るが、扱う問題に大きく依存する
