Deep Learning(An MIT Press book) 6.5.1

Deep Learning(An MIT Press book) の要点メモシリーズ。

computational graph の話。これﾃﾝｻｰﾌﾛｰ用語だと思ってたら普通に使われてる用語だったんですね・・・。

Chapter 6 Deep Feedforward Networks

6.5 Back-Propagation and Other Differentiation Algorithms

• forward propagation: 入力 → 予測値 → コスト関数
• backward propagation: コスト関数（の微分） → 勾配
• back-propagation は勾配を計算する
  • 勾配を使って学習するのは SGD などのアルゴリズム
  • neural network に限らず任意の導関数を計算できる
• : x は導関数を求めたい入力で y は導関数の不要な入力
  • 学習アルゴリズムでは がよく使われる
• back-propagation は Jacobian のように出力が複数ある導関数にも適用できる

6.5.1 Computational Graphs

• computational graph という言語で back-propagation をもっと正確に記述する
  • ノードは変数（スカラ、ベクトル、行列、テンソル・・・）
  • operation: 複数の変数を受け取り単一の変数を返す、単純な関数
    • 変数としてベクトルを取れるので、複数の値を返す場合にも対応できる
  • 変数 x に operation を適用して y を計算できる場合、x から y にエッジをはる
    • y のノードに、適用した operation 名を annotate する場合がある