Library/工学/パターン認識：機械学習：データマイニング - kuni_memo @ ウィキ

機械学習、パターン認識、推論

他分野との関連

統計学、最適化問題、信号処理、解析学、確率論とも関連が深い

• Library/数学/確率論
• Library/数学/統計学
• Library/数学/解析学
• Library/数学/逆問題・数理計画法・最適化
• Library/工学/信号処理

全般的な本

Duda,Hart,"Pattern Analysis and Scene Analysis",Wiley

超古典的で原点的な本。

Duda,Hart,Stork, "Pattern Classification"

上記の本の第2版。

上坂吉則, 尾関和彦 ,"パターン認識と学習のアルゴリズム"

KL展開の情報理論的説明が素晴らしい。ちょっと古い本。

尾関和彦, "メディア情報処理の基礎数理"

情報処理(信号処理、パターン認識)を含む数理的問題について解説してある。きれいな理論が多く、非常にためになる。

ビショップ, "パターン認識と機械学習"

ベイズ的なパターン認識の本としては有名な本。

• 関連Blog
  • http://aidiary.hatenablog.com/entry/20100404/1270359720

光成滋生,"「パターン認識と機械学習」の学習"

ビショップ, "パターン認識と機械学習"の副読本登場！！こんな本出していいのかと思ったが、「ビショップ, "パターン認識と機械学習"」の数学的な飛躍部分を埋めるために書かれたようだ。もともと、社内の勉強ノートだとのこと。

• こんな感じの本。表紙の色いっしょだ。
• https://twitter.com/0_9_2_chan/status/367569436552597505/photo/1

石井、上田、"わかりやすいパターン認識"、

石井、上田、"続わかりやすいパターン認識 -教師なし学習入門-"

エルッキ・オヤ, "パターン認識と部分空間法"

杉山将,"統計的機械学習-生成モデルに基づくパターン認識-"

Octave,Matlabを用いた説明で、とてもシンプル。入門的としてはとてもよい。理論的なところもきちんと押さえている。EMアルゴリズムなど押さえどころがしっかりしている。

山西健司,"情報論的機械学習"

MDLなど情報理論的な関係がよく書かれている。

渡辺、萩原,赤穂,本村,福水,岡田,青柳,"学習システムの理論と実現"

渡辺澄夫,"代数幾何と学習理論",森北出版（知能情報科学シリーズ）

金森敬文,畑埜晃平,渡辺治,"ブースティング-学習アルゴリズムの設計技法-",森北出版（知能情報科学シリーズ）

ブースティングについての本

機械学習プロフェッショナルシリーズ（MLP）

杉山将,"機械学習のための確率と統計"

河原,"劣モジュラ最適化と機械学習"

センサ配置問題に関心があり、購入した。

鈴木大慈,"確率的最適化"

中島,"機械学習プロフェッショナルシリーズ 変分ベイズ学習",講談社

佐藤,"機械学習プロフェッショナルシリーズ ノンパメトリックベイズ",講談社

冨岡,"スパース性に基づく機械学習"

概要をつかむには良いかもしれない。数式が引用文献頼りだったり、論理が飛躍しているのが難点。
著者のMATLABのソースコードがGitHUB上に公開されている。

• 著者HP
  • http://tomioka.dk/
• 著者スライドノート
  • http://www.slideshare.net/ryotat

• 著者GitHUB
  • https://github.com/ryotat

• 他パッケージ
• SPAMS

  フランスの研究グループが公開している。
  

  • http://spams-devel.gforge.inria.fr/

1章〜3章：準備

ポイント①：制約付き最小化と罰則項付き最小化問題の関係

ポイント②：絶対値損失と中央値の関係

• 絶対値損失と中央値との関係は、以下のページの方が分かりやすい。
  • http://tsujimotter.hatenablog.com/entry/2013/11/17/201051

4章：ノイズ無しL1ノルム最小化

ポイント①：統計次元の話

• 本文の重要なネタ元の論文（統計次元）
• D.Amelunxen, etc.,"Living on the Edge"
  • スライド：http://people.ee.duke.edu/~lcarin/SAHD_Tropp.pdf
  • 論文：http://arxiv.org/pdf/1303.6672v2.pdf

• V.Chandrasekaran, etc.,"The convex geometry of linear inverse problem"
  • 論文：http://users.cms.caltech.edu/~venkatc/crpw_lip_focm12.pdf

• その他①：計算幾何学的方法による解釈
  • D.L.Donoho, J.Tanner,"Counting faces of randomly projected hypercubes and orthants, with applications"
  • 論文：http://arxiv.org/pdf/0807.3590v1.pdf
  • D.L.Donoho, J.Tanner,"Counting faces of randomly projected polytopes when the projection radically lowers dimension"
  • 論文：http://arxiv.org/pdf/math/0607364v2.pdf
  • D.L.Donoho, J.Tanner,"Observed universality of phase transitions in high-dimensional geometry, with implications for modern data analysis and signal processing"
  • 論文：http://arxiv.org/pdf/0906.2530v1.pdf

• その他②：統計学的方法による解釈
  • D.L.Donoho, A.Maleki, and A.Montaniri.,"Message-passing algorithms for compressed sensing"
  • 論文：https://web.stanford.edu/~montanar/RESEARCH/FILEPAP/mpacs.pdf
  • Y.Kabashima, T.Wadaama, and T.Tanaka.,"A typical reconstruction limit for compressed sensing based o Lp-norm minimization"
  • 論文：http://arxiv.org/pdf/0907.0914.pdf

• その他③：制限等長性
  • E.J.Candes.,"The restricted isometry property and its implementations for compressed sensing"
  • 論文：http://www.stat.yale.edu/~snn7/courses/stat679fa13/references/RIP.pdf

5章：ノイズありL1ノルム最小化

ポイント①：ノイズがある場合の性能評価

• 本文の重要なネタ元の論文（LASSO, 基底追跡雑音除去）
• R.Tibshirani,"Regression shrinkage and selection via the lasso"
  • https://www.statistik.tu-dortmund.de/fileadmin/user_upload/Lehrstuehle/Genetik/MW0910/Tibshirani1996.pdf
• S.Chen,D.L.Donoho,and M.Saunders,"Atomic decomposition by basis pursuit"
  • http://statweb.stanford.edu/~donoho/Reports/1995/30401.pdf

ポイント②：制限強凸性

• 本文の重要なネタ元の論文（制限強凸性）
• S.Negahban ,P.Ravikumar, M.J.Wainwright,and B.Yu,"A unified framework for high-dimensional analysis of M-estimators with decomposable regularizers"
  • http://arxiv.org/pdf/1010.2731.pdf

• S.Negahban and M.J.Wainwright,"Restricted strong convexity and weighted matrix completion: Optical bounds with noise"
  • http://www.eecs.berkeley.edu/~wainwrig/Papers/NegWai12_JMLR_MatComp.pdf
• G.Raskutti,M.J.Wainwright,and B.Yu,"Restricted eigenvalue properties for correlated gaussian designs"
  • http://www.eecs.berkeley.edu/~wainwrig/Papers/RasWaiYu10.pdf

岡谷,"深層学習",機械学習プロフェッショナルシリーズ（MLP）

井手,杉山,"異常検知と変化検知"

深層学習

人工知能学会編,"深層学習",近代科学社

概要を知るにはいいかも。

岡谷,"深層学習",機械学習プロフェッショナルシリーズ（MLP）

異常検出

山西,"データマイニングによる異常検知",共立出版

• 理論的な本。

井手,杉山,"異常検知と変化検知"

瀬々,浜田,"生命情報処理における機械学習"

• サポートページ
  • http://ide-research.net/book/support.html

井手,"入門 機械学習による異常検知 ─Rによる実践ガイド─",コロナ社

• サポートページ
  • http://ide-research.net/book/support.html

バイオインフォマティックス

• RNAとかDNA配列の解析に使われる情報技術。

丸山,阿久津,"バイオインフォマティックス シリーズ 予測と発見の科学"

瀬々,浜田,"生命情報処理における機械学習"

カーネル法

大北剛（邦訳）,"サポートベクターマシン入門"：N.Cristianini,J.S.Taylor,"An Introsuction to Support Vector Machines and other kernel-based lerning methods",2000,Cambridge Univercity Press

RHKS:Reproducting Kernel Hilbert Spaceを応用した機械学習理論についての初期の頃の入門書である。 数学的な定理が、天下り的に書かれていて概要をつかむにはよいが、数学的な部分は、引用文献に頼っており読みにくい。 そういう意味で、外観をつかむには良いのかもしれない。

• サポートページ：http://www.support-vector.net/vacancies.html
  • Neloと働かないか？みたいなことが書いてある。本気かな?

大北剛（邦訳）,"カーネル法によるパターン解析",：J.S.Taylor,N.Cristianini,"Kernel Methods for Pattern Analysis",2004,Cambridge Univercity Press

前著("サポートベクターマシン入門")よりも分厚く、数学的説明が細かくてよい。

Bernhard Scholkopf,Alexander J.Smola,"Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond "

カーネルPCAの先駆的研究者による著作。

福水建次,"カーネル法入門-正定値カーネルによるデータ解析-",2010,朝倉書店

ぱっと目に入り購入に至る。

データサイエンス、データマイニング

• 原理的には、同じ数学使っているんですよね。

Rで学ぶデータサイエンス [5] パターン認識

Rで学ぶデータサイエンス [6] マシンラーニング