Deep Learning(An MIT Press book) 6.5.9

Deep Learning(An MIT Press book) の要点メモシリーズ。

Chapter 6 Deep Feedforward Networks

6.5 Back-Propagation and Other Differentiation Algorithms

6.5.9 Differentiation outside the Deep Learning Community

• 自動微分の分野で深層学習は他のコンピュータサイエンスの分野と異なっている
  • back-propagation は自動微分のアプローチの1つ
    • reverse mode accumulation の特殊な場合
• 最適な勾配計算の系列を見つけるのはNP完全
• cross entropy の勾配が であることを人間は知っている
  • pure back-propagation は地道に微分する
  • Theano や Tensorflow は↑で人間がやるようなヒューリスティックが入っている
• 入力よりも出力の次元が大きい場合は forward mode accumulation のほうがよい
  • 行列積のアナロジー
  • ABCD でA-Cが行列でDが列ベクトルだったらD側から計算していくと常に行列とベクトルの積になる
• 機械学習以外のコミュニティでは自動微分はコードに対して適用して自動微分されたプログラムを生成する
  • 深層学習ではライブラリ経由で自動微分を行う