技術

Deep Learning(An MIT Press book) 7.4

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.4 Dataset Augmentation 分類問題の augmentation は最も簡単 分類は複雑なデータから単カテゴリへの要約。広範囲の変換に対して結果が不変 密度推定…

Deep Learning(An MIT Press book) 7.3

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.3 Regularization and Under-Constrained Problems 正則化は機械学習の問題を正しく定義するのにも使う 線形回帰やPCAはXT Xが特異(非正則)だとだめ…

Deep Learning(An MIT Press book) 7.2

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 7 Regularization for Deep Learning 7.2 Norm Penalties as Constrained Optimization 正則化つきの最適化を generalized Lagrange function と考える 正則化項は不等式制約にあたる 正則化…

Deep Learning(An MIT Press book) 7.1.2

Deep Learning(An MIT Press book) の要点メモシリーズ。 LASSO(よめない)のお話。 Chapter 7 Regularization for Deep Learning 7.1 Parameter Norm Penalties 7.1.2 L1 Regularization 正則化項の勾配が sign() なので、目的関数を二次近似しても代数的…

Deep Learning(An MIT Press book) 7.1.1

Deep Learning(An MIT Press book) の要点メモシリーズ。 あっ、これPRMLで出てきたやつだ!な話。 Chapter 7 Regularization for Deep Learning 効率的な regularizer はバイアスをそんなに増やさずにバリアンスを大幅に減らす 過度に複雑な(=バリアンスの…

Deep Learning(An MIT Press book) 6.5.10 - 6.6

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algorithms 6.5.9 Higher-Order Derivatives Theano, Tensorflow は高次の微分をサポートしている 数式微分を…

Deep Learning(An MIT Press book) 6.5.9

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algorithms 6.5.9 Differentiation outside the Deep Learning Community 自動微分の分野で深層学習は他のコン…

Deep Learning(An MIT Press book) 6.5.7 - 6.5.8

Deep Learning(An MIT Press book) の要点メモシリーズ。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algorithms 6.5.7 Example: Back-Propagation for MLP Training 隠れ層が1つの MLP の計算グラフの例 勾配の計…

Deep Learning(An MIT Press book) 6.5.6

Deep Learning(An MIT Press book) の要点メモシリーズ。 やっぱりDPなんだよな(適当)。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algorithms 6.5.6 General Back-Propagation 計算グラフの各変数(ノード)を…

Deep Learning(An MIT Press book) 6.5.2 - 6.5.5

Deep Learning(An MIT Press book) の要点メモシリーズ。 計算グラフつよい・・・。という話。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algorithms 6.5.2 Chain Rule of Calculus chain rule of calculus: 既に…

Deep Learning(An MIT Press book) 6.5.1

Deep Learning(An MIT Press book) の要点メモシリーズ。 computational graph の話。これテンサーフロー用語だと思ってたら普通に使われてる用語だったんですね・・・。 Chapter 6 Deep Feedforward Networks 6.5 Back-Propagation and Other Differentiation Algor…

Deep Learning(An MIT Press book) 6.4.2

Deep Learning(An MIT Press book) の要点メモシリーズ。 順番に全結合していくネットワークじゃないやつもあるよ、って話。 Chapter 6 Deep Feedforward Networks 6.4 Architecture Design 6.4.2 Other Architectural Considerations 単純に層を重ねるタイ…

tensorflow で embedding_lookup をすると UserWarning が出るやつの対処

tensorflow で embedding_lookup をすると UserWarning が出て困ったので、対処法をメモに残しておきます。 以下のような感じのコードを用意します。 import numpy as np import tensorflow as tf class Embedding(tf.keras.layers.Layer): def build(self, …

Deep Learning(An MIT Press book) 6.4.1

Deep Learning(An MIT Press book) の要点メモシリーズ。 なんで deep にするとつよいの?って話です。 Chapter 6 Deep Feedforward Networks 6.4 Architecture Design chain-based architectures 層が直前の層の関数になっているネットワーク 構造で考える…

Deep Learning(An MIT Press book) 6.3.2 - 6.3.3

Deep Learning(An MIT Press book) の要点メモシリーズ。 今日の範囲は隠れ層の後半。ReLU 以外の諸々の話。 Chapter 6 Deep Feedforward Networks 6.3 Hidden Units 6.3.2 Logistic Sigmoid and Hyperbolic Tangent sigmoidal なユニット logistic sigmoid …

tensorflow の layers を keras.layers で置き換える書き方

今後 tf.layers が tf.keras.layers で置き換わるらしいという話を聞きました。 参考: https://www.tensorflow.org/api_docs/python/tf/layers/Layer ということは全部 keras 風に書かないといけないの?と思ったのですが、実は layers の部分だけ置き換える…

Deep Learning(An MIT Press book) 6.3.1

Deep Learning(An MIT Press book) の要点メモシリーズ。 今日の範囲は隠れ層の前半。ReLU つよいという話と、その一般化の話。 Chapter 6 Deep Feedforward Networks 6.3 Hidden Units ReLU がデフォルトの選択肢として最も良い 事前にどの units がよいか…

Deep Learning(An MIT Press book) 6.2.2.4

Deep Learning(An MIT Press book) の要点メモシリーズ。 今日の範囲は出力ユニットの残りの部分。主に分散を学習する方法について。分散は正定値性が要求されるので一工夫必要だよねという話です。 Chapter 6 Deep Feedforward Networks 6.2 Gradient-Based…

tensorflow の基本的な書き方

tensorflow の記憶を失ったときのためのメモ(毎日のように忘れる)(テンサーフ労はわるい)。 XOR を計算するサンプルです。 from random import randrange import numpy as np import tensorflow as tf class Xor: __slots__ = [ 'sess', 'x_ph', 'y_ph', 'glo…

Deep Learning(An MIT Press book) 6.2.2.3

Deep Learning(An MIT Press book) の要点メモシリーズ。 今日の範囲は出力ユニット(その2)。多値分類に使う multinoulli 分布(softmax 関数)の話。 PRML で出てくる「Bernoulli 分布の多値バージョン」に multinoulli 分布という名前がついていた(本書…

Deep Learning(An MIT Press book) 6.2.2.1 - 6.2.2.2

Deep Learning(An MIT Press book) の要点メモシリーズ。 今日の範囲は出力ユニット(前半)。回帰に使う線形ユニットと分類に使う sigmoid ユニット。 損失関数を cross-entropy にする場合、分布を渡さないといけない。線形ユニットの場合はガウス分布に、…

Deep Learning(An MIT Press book) 6.2.1

Deep Learning(An MIT Press book) の要点メモシリーズ。 今日の範囲はコスト関数について。なんで neural networks は損失関数に cross-entropy を使うの?って話です。 Chapter 6 Deep Feedforward Networks 6.2 Gradient-Based Learning neural networks …

Deep Learning(An MIT Press book) 6.1

最近 Deep Learning(An MIT Press book) を読んでいるのですが、記憶の失われが激しいので要点をメモしていくことにしました。 5章までは機械学習の基礎で6章からが deep らしいので、そこから読んでいます。 あと、さすがにタイトルの 575nize はあきらめま…

string attractor を表示する便利ツールを Rust で書いた

10億年ぶりに日記ではない記事を書きます(しかしタイトルの575(77)性は維持する)。 string attractor を表示するツールを作りました。 github.com string attractor とは以下の論文で提案された概念です。 [1710.10964] At the Roots of Dictionary Compre…

「コーパスと自然言語処理」を読んだ

コーパスと自然言語処理を読みました。 これは記憶の失われを防ぐためのメモです。 概要 どういうコーパスが使えるの、っていう視点で自然言語処理の概要を説明した本。入門書としてもよさそう。手法に関してはあっさりめ 近年だと細かい手法は気にしなくて…

Ridge Regression, Hubness, and Zero-Shot Learningを読んだ

以前、小町さん(ファンタジスタドールではない)の日記(2015-08-29 - 武蔵野日記)で紹介されていた論文が面白そうだったので、読んでみました。 [1507.00825] Ridge Regression, Hubness, and Zero-Shot Learning Zero-Shot Learning のハブ問題を解決す…

Exponential Family Embeddingsを読んだ

労の場の「論文読み会」で年明けに読むことになっている論文を読みました。 [1608.00778] Exponential Family Embeddings NIPS2016から何本か読もうということになって、この論文が唯一2票入ったので最初に読むことになった次第です。 概要 この論文は、指数…

Zero-Shot Learning with Semantic Output Codesを読んだ

Zero-Shot LearningというのをNLPの論文タイトルで最近よく見かけるので、気になっていました。なので、以下の論文を読んでみました。 Zero-Shot Learning with Semantic Output Codes たぶんZero-Shot Learningという名前の初出がこれだと思います(違って…

Collaborative Filtering for Implicit Feedback Datasetsを読んだ

SparkやMahoutで使えるALSというのがよくわかっていなかったので調べていたのですが、単にMatrix Factorization(MF)の学習法の名前でした。そういえば聞いたことある気がしてきた・・・。 それはそれとして、Sparkのドキュメントで紹介されていた、Collabo…

Storing a Sparse Table with O(1) Worst Case Access Timeを読んだ

タイトルのとおりです。以下の論文を読みました。 Storing a Sparse Table with O(1) Worst Case Access Time [1,m]の自然数の集合に対するサイズnの部分集合があった場合にqが部分集合に含まれるどうかを知りたい、という問題を考えます。この操作をmembers…