Deep Learning(An MIT Press book) 6.5.2 - 6.5.5

Deep Learning(An MIT Press book) の要点メモシリーズ。

計算グラフつよい・・・。という話。

Chapter 6 Deep Feedforward Networks

6.5 Back-Propagation and Other Differentiation Algorithms

6.5.2 Chain Rule of Calculus

  • chain rule of calculus: 既に導関数のわかっている関数で構成された関数の導関数を計算する
  •  y=g(x), z=f(y)のとき\nabla_x z=(\frac{\partial y}{\partial x})^{\mathrm{T}}\nabla_y z
    • back-propagation はこのような Jacobian と gradient の積を各 operation(=計算グラフのエッジ)に対して計算する
    • scalar だけでなく vectortensor に対しても適用できる

6.5.3 Recursively Applying the Chain Rule to Obtain Backprop

  • chain rule を使うと(出力となる) scalar の計算グラフ上の任意の変数(ノード)の勾配を素直に書ける
  • 計算機で扱う場合、部分的な式を繰り返し計算するか、計算済みのものを保存しておくかを考える必要がある
  • simplified version of the back-propagation
    • 最後の子ノードに対して各ノードで微分した勾配を求める
    • 子ノードから親ノードに向かって勾配計算していく
      • 各勾配の計算は子ノードにだけ依存するので、勾配を保存しておくことで部分式の再計算が発生しなくなる
      • 計算量はエッジ数(≒ノード数)に線形になる
        • ノード間で Jacobian と gradient の積を計算するだけなので

6.5.4 Back-Propagation Computation in Fully Connected MLP

  • MLP(Multi Layer Perceptron)を back-propagation で解く例

6.5.5 Symbol-to-Symbol Derivatives

  • symbol-to-number
    • 計算グラフに値を突っ込んで勾配を得る
      • 各勾配は外からは見えない
    • Torch, Caffe が採用
  • symbol-to-symbol
    • 計算グラフ中の各ノードの勾配に対応するノードを追加
      • 勾配ノードは自身が依存するノードの値が確定した時点で勾配の値を計算できる
      • 各勾配を部分的に取り出して利用できる
    • Theano, TensorFlow が採用

リアタイはオプション的であるべきだ

金曜日です。


所用のため有給です。

起床し、所用的外出をやりました(定義より明らか)。

その後散髪をやりました(コミュニケーションの発生)。


帰宅後、ピアノをやりました。外出により花粉ダメージを受けたせいか頭痛がすごかったものの、謎の能力覚醒があり満足のいく練習ができました(よい)。

その後、部屋で置物になっていたらガルラジのニコ生がはじまっていました。出遅れたので明日タイムシフトで見ます。ニコ生は悪しき文化・・・。しかしド社はガルラジに金を流しているので末長く生き続けて欲しい。

そんなこんなでガルラジ本放送(岡崎)はリアタイ大成功。富士川はディレイ視聴しました。ガルラジ本放送は2or3チームが同時に生放送されるので構造的にすべてをリアタイできないのがよい。もちろん本放送はニコ生と違い無限に繰り返して聴けるのでよい。リアタイはオプション的であるべきなのです。

ガルラジは今週と来週がファーストシーズン最終回ということで作品的にも終わり感があり、また声優さんのアフタートークでもお気持ちが炸裂しており、大変なお気持ちでした(日本語の崩壊)。

寝ます。

有給を惜しまず使うつらい勢

木曜日です。


今日は出社しました(つよい)(つらい勢比)。

わずかに開発労をした後は緑の本を読んだり、 deep 本読み会に参加(と書くと他人事感があるが発表担当だった)したりしました。


帰りの電車では「リアデイルの大地にて」を読み始めました。よさそうな気配がすごい。

帰宅後はアフ!を視聴。アイドルの頂点に立ったピュアパレットの、夢のその先が描かれていてよかった。過去のアイカツ!では初年度は先輩アイドルに負けるのが通例だったのですが、溢れる百合力(ゆりちから)で初年度大勝利を飾ったピュアパレットはそれとはまた異なる描かれ方がされており大変よいですね。

その後は本日入手した t7s のメモリアルライブBDを見はじめました。よい。

寝ます。明日は所用のため有給です(有給浪費家)。

あっこれは(以下略)なので休みです

水曜日です。


起床すると異様な腹痛(昨日から)があり「あっこれは出社できない気分だな(久々INI)」となりました。

そのため失意の有給。病はわるい・・・(病というほどではないが)。

無限に寝た後は、無限にごろごろしつつDQ5をしました。フローラさんと得性しました。現世ではかけらも性を得られる気配はないのに・・・(つらい)。

その後は先週の盾の勇者とこのすばを視聴。


以上です。金曜も所用で有給なのであと1労。つらいがやっていく。

どうみても虚無の日記と言えますね

火曜日です。


なんとか出社し、開発労、会議労をしました。

帰りの電車では「カーテンコールが鳴る前に。」を読み終えました。とてもよかった。続刊に期待したいですが、なんとなく1冊で終わりという気配もあるのでどうなんでしょうね(投げっぱなし)。

帰宅後はGガンダムを見ました。

人体の疲弊がすごく、日記の虚無度がすごい。

寝ます。

理論上7日(なのか)で読める緑本

月曜日です。


失意の出社をキメました(遺憾)。

労は開発労、会議労、資料作成労。

失意がすごかった(謎の日本語)ので適当に労を切り上げ、強化学習の本(緑のやつ)(すでにタイトルを忘れた)を読み始めました。

2時間で2日目まで読み終えました(7日で全部読める仕様らしいが、4日目の内容が90Pあったりして配分がおかしい)(前書きで「理論上は」7日で読めると書いてあった)(理論上とはいったい・・・?)。


帰りの電車では「カーテンコールが鳴る前に。」を読み進めました。主人公が謎の百合力(ゆりちから)で仲間たちと絆を深めていく展開がアツい。

帰宅後はアフ!(先週のやつ)を見ました。よさがあった。アフ!の世界では男性は女性にチョコミントマカロンを送ると得性しやすいらしいです。現世もそうであってほしい(まあアフ!の世界でも「ただしせいつよに限る」やつかもしれませんが)。

寝ます。

無気力に苛まれつつ、明日は労

日曜日です。


失意感の抜け切れぬ起床。

意識がはっきりしないせいか、起きて早々ツール労をやってしまい、その結果ツール死しました。

失意感のさらなる高まりを感じつつ、それでもなんとかピアノをしました。

その後は今日も無限にDQ5。得性間近です。ゲームではこれほど容易に性を得られるというのに・・・。

その後、STPとジオウを視聴。

寝ます。異様な無気力に苛まれていますが、はたして明日出社できるのかどうか・・・。