Deep Learning(An MIT Press book) の要点メモシリーズ。
Chapter 6 Deep Feedforward Networks
6.5 Back-Propagation and Other Differentiation Algorithms
6.5.9 Differentiation outside the Deep Learning Community
- 自動微分の分野で深層学習は他のコンピュータサイエンスの分野と異なっている
- back-propagation は自動微分のアプローチの1つ
- reverse mode accumulation の特殊な場合
- back-propagation は自動微分のアプローチの1つ
- 最適な勾配計算の系列を見つけるのはNP完全
- cross entropy の勾配が であることを人間は知っている
- 入力よりも出力の次元が大きい場合は forward mode accumulation のほうがよい
- 行列積のアナロジー
- ABCD でA-Cが行列でDが列ベクトルだったらD側から計算していくと常に行列とベクトルの積になる
- 機械学習以外のコミュニティでは自動微分はコードに対して適用して自動微分されたプログラムを生成する
- 深層学習ではライブラリ経由で自動微分を行う