技術

Deep Learning(An MIT Press book) 6.2.2.3

Deep Learning(An MIT Press book) の要点メモシリーズ。 今日の範囲は出力ユニット(その2)。多値分類に使う multinoulli 分布(softmax 関数)の話。 PRML で出てくる「Bernoulli 分布の多値バージョン」に multinoulli 分布という名前がついていた(本書…

Deep Learning(An MIT Press book) 6.2.2.1 - 6.2.2.2

Deep Learning(An MIT Press book) の要点メモシリーズ。 今日の範囲は出力ユニット(前半)。回帰に使う線形ユニットと分類に使う sigmoid ユニット。 損失関数を cross-entropy にする場合、分布を渡さないといけない。線形ユニットの場合はガウス分布に、…

Deep Learning(An MIT Press book) 6.2.1

Deep Learning(An MIT Press book) の要点メモシリーズ。 今日の範囲はコスト関数について。なんで neural networks は損失関数に cross-entropy を使うの?って話です。 Chapter 6 Deep Feedforward Networks 6.2 Gradient-Based Learning neural networks …

Deep Learning(An MIT Press book) 6.1

最近 Deep Learning(An MIT Press book) を読んでいるのですが、記憶の失われが激しいので要点をメモしていくことにしました。 5章までは機械学習の基礎で6章からが deep らしいので、そこから読んでいます。 あと、さすがにタイトルの 575nize はあきらめま…

string attractor を表示する便利ツールを Rust で書いた

10億年ぶりに日記ではない記事を書きます(しかしタイトルの575(77)性は維持する)。 string attractor を表示するツールを作りました。 github.com string attractor とは以下の論文で提案された概念です。 [1710.10964] At the Roots of Dictionary Compre…

「コーパスと自然言語処理」を読んだ

コーパスと自然言語処理を読みました。 これは記憶の失われを防ぐためのメモです。 概要 どういうコーパスが使えるの、っていう視点で自然言語処理の概要を説明した本。入門書としてもよさそう。手法に関してはあっさりめ 近年だと細かい手法は気にしなくて…

Ridge Regression, Hubness, and Zero-Shot Learningを読んだ

以前、小町さん(ファンタジスタドールではない)の日記(2015-08-29 - 武蔵野日記)で紹介されていた論文が面白そうだったので、読んでみました。 [1507.00825] Ridge Regression, Hubness, and Zero-Shot Learning Zero-Shot Learning のハブ問題を解決す…

Exponential Family Embeddingsを読んだ

労の場の「論文読み会」で年明けに読むことになっている論文を読みました。 [1608.00778] Exponential Family Embeddings NIPS2016から何本か読もうということになって、この論文が唯一2票入ったので最初に読むことになった次第です。 概要 この論文は、指数…

Zero-Shot Learning with Semantic Output Codesを読んだ

Zero-Shot LearningというのをNLPの論文タイトルで最近よく見かけるので、気になっていました。なので、以下の論文を読んでみました。 Zero-Shot Learning with Semantic Output Codes たぶんZero-Shot Learningという名前の初出がこれだと思います(違って…

Collaborative Filtering for Implicit Feedback Datasetsを読んだ

SparkやMahoutで使えるALSというのがよくわかっていなかったので調べていたのですが、単にMatrix Factorization(MF)の学習法の名前でした。そういえば聞いたことある気がしてきた・・・。 それはそれとして、Sparkのドキュメントで紹介されていた、Collabo…

Storing a Sparse Table with O(1) Worst Case Access Timeを読んだ

タイトルのとおりです。以下の論文を読みました。 Storing a Sparse Table with O(1) Worst Case Access Time [1,m]の自然数の集合に対するサイズnの部分集合があった場合にqが部分集合に含まれるどうかを知りたい、という問題を考えます。この操作をmembers…

Factorization Machinesを今更読みました

前から気になっていたのですが、読んでいなかった Factorization Machines [S. Rendle, 2010] を読みました。 論点が明確で非常に読みやすい論文でした。それだけでなく手法自体もシンプルかつ効果的で極めて良いように思いました。私が好きなタイプの手法で…