これまでは SGD でやっていた

金曜日です。


今日の労は20%ルール(過日参)(=過去の日記参照)(cf. ツイ参)を発動し、無限に keras で遊んでいました。

ひたすらツール死をしながら、ナウい(古代の邪教徒が用いたという死の呪文)自然言語処理の手法である sequence2sequence(cf. end2end, encoder-decoder)の実装(ツールを使っただけなので実装という言葉は適切でない)(ではどういう用語が適切なのだろうか)を楽しみました。

実装が完了したので適当に作った人工データを流し込むところまでやりました。ところが異常に精度が低くなんだこれはという気持ちになったのですが、社の休憩室でドーナツを食べながらぼーっとしていたら「もしかして収束が異常に遅いだけなのでは・・・?」というひらめきがあり収束の速い Adam (それまでは普通の sgd でやっていた)に切り替えたところ明らかに損失の減少が早くいい感じに収束しました。

Adam (にかぎらずオンライン学習全般)は非深の時代から親しんでいたのですが、その頃は普通の線形識別器(深のコンテキストで言う単層パーセプトロン)だったので収束の速さの恩恵はそんなに受けられず、別に sgd でいいじゃんという気持ちだったのですが、深のような複雑なネットワークだと収束の速さも馬鹿にできないものだなと実感しました。

深に無限に時間を使った結果、残をやってしまいました。しかし残は世界の均衡を崩す危険を孕んでいます。このことが世界の崩壊につながらないと良いのですが・・・。

深をやるには強力なGPUマシンが必要であり、家にはそういったものはないので必然的に労の場でやることになるのが厳しいところです。申請すればリモート接続も可能なのですが、労時間にカウントされない労をするわけにはいきませんからね。


社を出た後は緋弾のアリアの新刊(もう出てしまった)と同作者の新作(おそらく百合)ラノベであるチアーズを買いました。

そんなこんなで帰りの電車では、緋弾のアリア(新刊ではないほう)の続きを読みました。シャーロック・ホームズエクスカリバーを装備して燕返しをネモ船長に食らわせるといった面白ラノベであり、面白いという気持ちです(ひどい文章)。

帰宅後は、無限に new3DS のVCを購入する作業をしました。有益ゲーはよい(よくない有益ゲーというのはあるのか?)。

その後、異世界スマホを見ました。異常な感じがあり、「オウ、ジャパニーズ異常アニメ!クール!!」という気持ちでした。

寝ます。