タスクの登録 shif+cmd+b を押すと編集中のディレクトリに .vscode/task.json というファイルができる 以下のように編集する cargo run は shift+cmd+b で実行できるようになる cargo test は別途ショートカットを設定する（後述） { "version": "2.0.0", "t…

きっと忘れるのでメモ。 https://azure.microsoft.com/ja-jp/products/visual-studio-code/ からダウンロード https://code.visualstudio.com/docs を見る 動画: https://code.visualstudio.com/docs/introvideos/overview ↑の動画を見ると、起動直後の画面…

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.14 Tangent Distance, Tangent Prop and Manifold Tangent Classifier 多様体仮説 -データは低次元多様体上にあるはず 多くの機械学習アルゴリズムは、…

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.13 Adversarial Training adversarial example 人間が見ても区別できないが、モデルが正解を間違うようなデータ adversarial training adversarial ex…

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.12 Dropout dropout 多数の大きなネットワークのbaggingを近似したもの 普通にやると計算量とメモリがやばいので いくつかのユニットの出力にゼロをか…

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.11 Bagging and Other Ensemble Methods bagging = bootstrap aggregating 個別に訓練した複数のモデルで投票 model averagingの一例 model averaging…

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.9 Parameter Tying and Parameter Sharing ここまでの正則化は固定領域に対して行ってきたが、それとは別にドメイン知識で制約をかける場合がある 類…

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.8 Early Stopping Early Stopping: 学習終了時の（訓練データでのエラーが最小な）パラメータではなく、学習全体を通して評価データでのエラーが最小…

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.7 Multitask Learning マルチタスク学習：他タスクの事例によってパラメータに弱い制約を与えて汎化性能を得る タスク間に統計的な関係があれば大きな…

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.6 Semi-Supervised Learning 半教師あり学習ではP(y|x)を予測するのにP(x)とP(x,y)を両方使う(=生成モデル) 深層学習の文脈では同じクラスのデータが…

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.5 Noise Robustness いくつかのモデルでは分散が無限小のノイズを入力に加えるのは、重みのノルムにペナルティをかけるのに等しい 一般にノイズを加え…

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.4 Dataset Augmentation 分類問題の augmentation は最も簡単 分類は複雑なデータから単カテゴリへの要約。広範囲の変換に対して結果が不変 密度推定…

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.3 Regularization and Under-Constrained Problems 正則化は機械学習の問題を正しく定義するのにも使う 線形回帰やPCAはXT Xが特異（非正則）だとだめ…

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.2 Norm Penalties as Constrained Optimization 正則化つきの最適化を generalized Lagrange function と考える 正則化項は不等式制約にあたる 正則化…

Deep Learning(An MIT Press book) の要点メモシリーズ。 LASSO（よめない）のお話。 Chapter 7 Regularization for Deep Learning 7.1 Parameter Norm Penalties 7.1.2 L1 Regularization 正則化項の勾配が sign() なので、目的関数を二次近似しても代数的…

Deep Learning(An MIT Press book) の要点メモシリーズ。 あっ、これPRMLで出てきたやつだ！な話。 Chapter 7 Regularization for Deep Learning 効率的な regularizer はバイアスをそんなに増やさずにバリアンスを大幅に減らす 過度に複雑な（=バリアンスの…

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algorithms 6.5.9 Higher-Order Derivatives Theano, Tensorflow は高次の微分をサポートしている 数式微分を…

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algorithms 6.5.9 Differentiation outside the Deep Learning Community 自動微分の分野で深層学習は他のコン…

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algorithms 6.5.7 Example: Back-Propagation for MLP Training 隠れ層が1つの MLP の計算グラフの例 勾配の計…

Deep Learning(An MIT Press book) の要点メモシリーズ。 やっぱりDPなんだよな（適当）。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algorithms 6.5.6 General Back-Propagation 計算グラフの各変数（ノード）を…

Deep Learning(An MIT Press book) の要点メモシリーズ。 計算グラフつよい・・・。という話。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algorithms 6.5.2 Chain Rule of Calculus chain rule of calculus: 既に…

Deep Learning(An MIT Press book) の要点メモシリーズ。 computational graph の話。これﾃﾝｻｰﾌﾛｰ用語だと思ってたら普通に使われてる用語だったんですね・・・。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algor…

Deep Learning(An MIT Press book) の要点メモシリーズ。 順番に全結合していくネットワークじゃないやつもあるよ、って話。 Chapter 6 Deep Feedforward Networks 6.4 Architecture Design 6.4.2 Other Architectural Considerations 単純に層を重ねるタイ…

tensorflow で embedding_lookup をすると UserWarning が出て困ったので、対処法をメモに残しておきます。 以下のような感じのコードを用意します。 import numpy as np import tensorflow as tf class Embedding(tf.keras.layers.Layer): def build(self, …

Deep Learning(An MIT Press book) の要点メモシリーズ。 なんで deep にするとつよいの？って話です。 Chapter 6 Deep Feedforward Networks 6.4 Architecture Design chain-based architectures 層が直前の層の関数になっているネットワーク 構造で考える…

Deep Learning(An MIT Press book) の要点メモシリーズ。 今日の範囲は隠れ層の後半。ReLU 以外の諸々の話。 Chapter 6 Deep Feedforward Networks 6.3 Hidden Units 6.3.2 Logistic Sigmoid and Hyperbolic Tangent sigmoidal なユニット logistic sigmoid …

今後 tf.layers が tf.keras.layers で置き換わるらしいという話を聞きました。 参考: https://www.tensorflow.org/api_docs/python/tf/layers/Layer ということは全部 keras 風に書かないといけないの？と思ったのですが、実は layers の部分だけ置き換える…

Deep Learning(An MIT Press book) の要点メモシリーズ。 今日の範囲は隠れ層の前半。ReLU つよいという話と、その一般化の話。 Chapter 6 Deep Feedforward Networks 6.3 Hidden Units ReLU がデフォルトの選択肢として最も良い 事前にどの units がよいか…

Deep Learning(An MIT Press book) の要点メモシリーズ。 今日の範囲は出力ユニットの残りの部分。主に分散を学習する方法について。分散は正定値性が要求されるので一工夫必要だよねという話です。 Chapter 6 Deep Feedforward Networks 6.2 Gradient-Based…

tensorflow の記憶を失ったときのためのメモ（毎日のように忘れる）（ﾃﾝｻｰﾌ労はわるい）。 XOR を計算するサンプルです。 from random import randrange import numpy as np import tensorflow as tf class Xor: __slots__ = [ 'sess', 'x_ph', 'y_ph', 'glo…