技術

VS Codeでビルド、テストをショートカット実行する

タスクの登録 shif+cmd+b を押すと編集中のディレクトリに .vscode/task.json というファイルができる 以下のように編集する cargo run は shift+cmd+b で実行できるようになる cargo test は別途ショートカットを設定する(後述) { "version": "2.0.0", "t…

VS CodeでRustのコードを動かす

きっと忘れるのでメモ。 https://azure.microsoft.com/ja-jp/products/visual-studio-code/ からダウンロード https://code.visualstudio.com/docs を見る 動画: https://code.visualstudio.com/docs/introvideos/overview ↑の動画を見ると、起動直後の画面…

Deep Learning(An MIT Press book) 7.14

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.14 Tangent Distance, Tangent Prop and Manifold Tangent Classifier 多様体仮説 -データは低次元多様体上にあるはず 多くの機械学習アルゴリズムは、…

Deep Learning(An MIT Press book) 7.13

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.13 Adversarial Training adversarial example 人間が見ても区別できないが、モデルが正解を間違うようなデータ adversarial training adversarial ex…

Deep Learning(An MIT Press book) 7.12

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.12 Dropout dropout 多数の大きなネットワークのbaggingを近似したもの 普通にやると計算量とメモリがやばいので いくつかのユニットの出力にゼロをか…

Deep Learning(An MIT Press book) 7.11

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.11 Bagging and Other Ensemble Methods bagging = bootstrap aggregating 個別に訓練した複数のモデルで投票 model averagingの一例 model averaging…

Deep Learning(An MIT Press book) 7.9 - 7.10

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.9 Parameter Tying and Parameter Sharing ここまでの正則化は固定領域に対して行ってきたが、それとは別にドメイン知識で制約をかける場合がある 類…

Deep Learning(An MIT Press book) 7.8

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.8 Early Stopping Early Stopping: 学習終了時の(訓練データでのエラーが最小な)パラメータではなく、学習全体を通して評価データでのエラーが最小…

Deep Learning(An MIT Press book) 7.7

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.7 Multitask Learning マルチタスク学習:他タスクの事例によってパラメータに弱い制約を与えて汎化性能を得る タスク間に統計的な関係があれば大きな…

Deep Learning(An MIT Press book) 7.6

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.6 Semi-Supervised Learning 半教師あり学習ではP(y|x)を予測するのにP(x)とP(x,y)を両方使う(=生成モデル) 深層学習の文脈では同じクラスのデータが…

Deep Learning(An MIT Press book) 7.5.1

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.5 Noise Robustness いくつかのモデルでは分散が無限小のノイズを入力に加えるのは、重みのノルムにペナルティをかけるのに等しい 一般にノイズを加え…

Deep Learning(An MIT Press book) 7.4

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.4 Dataset Augmentation 分類問題の augmentation は最も簡単 分類は複雑なデータから単カテゴリへの要約。広範囲の変換に対して結果が不変 密度推定…

Deep Learning(An MIT Press book) 7.3

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.3 Regularization and Under-Constrained Problems 正則化は機械学習の問題を正しく定義するのにも使う 線形回帰やPCAはXT Xが特異(非正則)だとだめ…

Deep Learning(An MIT Press book) 7.2

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.2 Norm Penalties as Constrained Optimization 正則化つきの最適化を generalized Lagrange function と考える 正則化項は不等式制約にあたる 正則化…

Deep Learning(An MIT Press book) 7.1.2

Deep Learning(An MIT Press book) の要点メモシリーズ。 LASSO(よめない)のお話。 Chapter 7 Regularization for Deep Learning 7.1 Parameter Norm Penalties 7.1.2 L1 Regularization 正則化項の勾配が sign() なので、目的関数を二次近似しても代数的…

Deep Learning(An MIT Press book) 7.1.1

Deep Learning(An MIT Press book) の要点メモシリーズ。 あっ、これPRMLで出てきたやつだ!な話。 Chapter 7 Regularization for Deep Learning 効率的な regularizer はバイアスをそんなに増やさずにバリアンスを大幅に減らす 過度に複雑な(=バリアンスの…

Deep Learning(An MIT Press book) 6.5.10 - 6.6

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algorithms 6.5.9 Higher-Order Derivatives Theano, Tensorflow は高次の微分をサポートしている 数式微分を…

Deep Learning(An MIT Press book) 6.5.9

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algorithms 6.5.9 Differentiation outside the Deep Learning Community 自動微分の分野で深層学習は他のコン…

Deep Learning(An MIT Press book) 6.5.7 - 6.5.8

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algorithms 6.5.7 Example: Back-Propagation for MLP Training 隠れ層が1つの MLP の計算グラフの例 勾配の計…

Deep Learning(An MIT Press book) 6.5.6

Deep Learning(An MIT Press book) の要点メモシリーズ。 やっぱりDPなんだよな(適当)。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algorithms 6.5.6 General Back-Propagation 計算グラフの各変数(ノード)を…

Deep Learning(An MIT Press book) 6.5.2 - 6.5.5

Deep Learning(An MIT Press book) の要点メモシリーズ。 計算グラフつよい・・・。という話。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algorithms 6.5.2 Chain Rule of Calculus chain rule of calculus: 既に…

Deep Learning(An MIT Press book) 6.5.1

Deep Learning(An MIT Press book) の要点メモシリーズ。 computational graph の話。これテンサーフロー用語だと思ってたら普通に使われてる用語だったんですね・・・。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algor…

Deep Learning(An MIT Press book) 6.4.2

Deep Learning(An MIT Press book) の要点メモシリーズ。 順番に全結合していくネットワークじゃないやつもあるよ、って話。 Chapter 6 Deep Feedforward Networks 6.4 Architecture Design 6.4.2 Other Architectural Considerations 単純に層を重ねるタイ…

tensorflow で embedding_lookup をすると UserWarning が出るやつの対処

tensorflow で embedding_lookup をすると UserWarning が出て困ったので、対処法をメモに残しておきます。 以下のような感じのコードを用意します。 import numpy as np import tensorflow as tf class Embedding(tf.keras.layers.Layer): def build(self, …

Deep Learning(An MIT Press book) 6.4.1

Deep Learning(An MIT Press book) の要点メモシリーズ。 なんで deep にするとつよいの?って話です。 Chapter 6 Deep Feedforward Networks 6.4 Architecture Design chain-based architectures 層が直前の層の関数になっているネットワーク 構造で考える…

Deep Learning(An MIT Press book) 6.3.2 - 6.3.3

Deep Learning(An MIT Press book) の要点メモシリーズ。 今日の範囲は隠れ層の後半。ReLU 以外の諸々の話。 Chapter 6 Deep Feedforward Networks 6.3 Hidden Units 6.3.2 Logistic Sigmoid and Hyperbolic Tangent sigmoidal なユニット logistic sigmoid …

tensorflow の layers を keras.layers で置き換える書き方

今後 tf.layers が tf.keras.layers で置き換わるらしいという話を聞きました。 参考: https://www.tensorflow.org/api_docs/python/tf/layers/Layer ということは全部 keras 風に書かないといけないの?と思ったのですが、実は layers の部分だけ置き換える…

Deep Learning(An MIT Press book) 6.3.1

Deep Learning(An MIT Press book) の要点メモシリーズ。 今日の範囲は隠れ層の前半。ReLU つよいという話と、その一般化の話。 Chapter 6 Deep Feedforward Networks 6.3 Hidden Units ReLU がデフォルトの選択肢として最も良い 事前にどの units がよいか…

Deep Learning(An MIT Press book) 6.2.2.4

Deep Learning(An MIT Press book) の要点メモシリーズ。 今日の範囲は出力ユニットの残りの部分。主に分散を学習する方法について。分散は正定値性が要求されるので一工夫必要だよねという話です。 Chapter 6 Deep Feedforward Networks 6.2 Gradient-Based…

tensorflow の基本的な書き方

tensorflow の記憶を失ったときのためのメモ(毎日のように忘れる)(テンサーフ労はわるい)。 XOR を計算するサンプルです。 from random import randrange import numpy as np import tensorflow as tf class Xor: __slots__ = [ 'sess', 'x_ph', 'y_ph', 'glo…