「Library/工学/パターン認識：機械学習：データマイニング」の編集履歴（バックアップ）一覧はこちら

Library/工学/パターン認識：機械学習：データマイニング - (2019/08/30 (金) 19:27:04) の１つ前との変更点

追加された行は緑色になります。

削除された行は赤色になります。

#navi(Library/工学)

 機械学習、パターン認識、推論

#contents

*他分野との関連
>
統計学、最適化問題、信号処理、解析学、確率論とも関連が深い
<
-[[Library/数学/確率論]]
-[[Library/数学/統計学]]
-[[Library/数学/解析学]]
-[[Library/数学/逆問題・数理計画法・最適化]]
-[[Library/工学/信号処理]]


*全般的な本

**Duda,Hart,"Pattern Analysis and Scene Analysis",Wiley
>
超古典的で原点的な本。
<

**Duda,Hart,Stork, "Pattern Classification" 
>
上記の本の第2版。
<

**上坂吉則, 尾関和彦 ,"パターン認識と学習のアルゴリズム"
>
KL展開の情報理論的説明が素晴らしい。ちょっと古い本。
<

**尾関和彦, "メディア情報処理の基礎数理"
>
情報処理(信号処理、パターン認識)を含む数理的問題について解説してある。きれいな理論が多く、非常にためになる。
<

**ビショップ, "パターン認識と機械学習"
>
ベイズ的なパターン認識の本としては有名な本。
<

-関連Blog
--http://aidiary.hatenablog.com/entry/20100404/1270359720

**光成滋生,"「パターン認識と機械学習」の学習"
>
ビショップ, "パターン認識と機械学習"の副読本登場！！こんな本出していいのかと思ったが、「ビショップ, "パターン認識と機械学習"」の数学的な飛躍部分を埋めるために書かれたようだ。もともと、社内の勉強ノートだとのこと。
<

-こんな感じの本。表紙の色いっしょだ。
-https://twitter.com/0_9_2_chan/status/367569436552597505/photo/1


**石井、上田、"わかりやすいパターン認識"、

**石井、上田、"続わかりやすいパターン認識 -教師なし学習入門-"

**エルッキ・オヤ, "パターン認識と部分空間法"





**杉山将,"統計的機械学習-生成モデルに基づくパターン認識-"
>
Octave,Matlabを用いた説明で、とてもシンプル。入門的としてはとてもよい。理論的なところもきちんと押さえている。EMアルゴリズムなど押さえどころがしっかりしている。
<


**山西健司,"情報論的機械学習"
>
MDLなど情報理論的な関係がよく書かれている。
<

**渡辺、萩原,赤穂,本村,福水,岡田,青柳,"学習システムの理論と実現"


**渡辺澄夫,"代数幾何と学習理論",森北出版（知能情報科学シリーズ）


**金森敬文,畑埜晃平,渡辺治,"ブースティング-学習アルゴリズムの設計技法-",森北出版（知能情報科学シリーズ）
>
ブースティングについての本
<


*機械学習プロフェッショナルシリーズ（MLP）

**杉山将,"機械学習のための確率と統計"

**河原,"劣モジュラ最適化と機械学習"

>
センサ配置問題に関心があり、購入した。
<

**鈴木大慈,"確率的最適化"


**冨岡,"スパース性に基づく機械学習"

 概要をつかむには良いかもしれない。数式が引用文献頼りだったり、論理が飛躍しているのが難点。
 著者のMATLABのソースコードがGitHUB上に公開されている。

-著者HP
--http://tomioka.dk/
-著者スライドノート
--http://www.slideshare.net/ryotat

-著者GitHUB
--https://github.com/ryotat

-他パッケージ
-SPAMS
 フランスの研究グループが公開している。
---http://spams-devel.gforge.inria.fr/

 1章〜3章：準備
>
ポイント①：制約付き最小化と罰則項付き最小化問題の関係
<

>
ポイント②：絶対値損失と中央値の関係
<
-絶対値損失と中央値との関係は、以下のページの方が分かりやすい。
--http://tsujimotter.hatenablog.com/entry/2013/11/17/201051

 4章：ノイズ無しL1ノルム最小化
>
ポイント①：統計次元の話
<

-本文の重要なネタ元の論文（統計次元）
-D.Amelunxen, etc.,"Living on the Edge"
--スライド：http://people.ee.duke.edu/~lcarin/SAHD_Tropp.pdf
--論文：http://arxiv.org/pdf/1303.6672v2.pdf

-V.Chandrasekaran, etc.,"The convex geometry of linear inverse problem"
--論文：http://users.cms.caltech.edu/~venkatc/crpw_lip_focm12.pdf

-その他①：計算幾何学的方法による解釈
--D.L.Donoho, J.Tanner,"Counting faces of randomly projected hypercubes and orthants, with applications"
--論文：http://arxiv.org/pdf/0807.3590v1.pdf
--D.L.Donoho, J.Tanner,"Counting faces of randomly projected polytopes when the projection radically lowers dimension"
--論文：http://arxiv.org/pdf/math/0607364v2.pdf
--D.L.Donoho, J.Tanner,"Observed universality of phase transitions in high-dimensional geometry, with implications for modern data analysis and signal processing"
--論文：http://arxiv.org/pdf/0906.2530v1.pdf

-その他②：統計学的方法による解釈
--D.L.Donoho, A.Maleki, and A.Montaniri.,"Message-passing algorithms for compressed sensing"
--論文：https://web.stanford.edu/~montanar/RESEARCH/FILEPAP/mpacs.pdf
--Y.Kabashima, T.Wadaama, and T.Tanaka.,"A typical reconstruction limit for compressed sensing based o Lp-norm minimization"
--論文：http://arxiv.org/pdf/0907.0914.pdf

-その他③：制限等長性
--E.J.Candes.,"The restricted isometry property and its implementations for compressed sensing"
--論文：http://www.stat.yale.edu/~snn7/courses/stat679fa13/references/RIP.pdf

 5章：ノイズありL1ノルム最小化
>
ポイント①：ノイズがある場合の性能評価
<

-本文の重要なネタ元の論文（LASSO, 基底追跡雑音除去）
-R.Tibshirani,"Regression shrinkage and selection via the lasso"
--https://www.statistik.tu-dortmund.de/fileadmin/user_upload/Lehrstuehle/Genetik/MW0910/Tibshirani1996.pdf
-S.Chen,D.L.Donoho,and M.Saunders,"Atomic decomposition by basis pursuit"
--http://statweb.stanford.edu/~donoho/Reports/1995/30401.pdf

>
ポイント②：制限強凸性
<

-本文の重要なネタ元の論文（制限強凸性）
-S.Negahban ,P.Ravikumar, M.J.Wainwright,and B.Yu,"A unified framework for high-dimensional analysis of M-estimators with decomposable regularizers"
--http://arxiv.org/pdf/1010.2731.pdf

-S.Negahban and M.J.Wainwright,"Restricted strong convexity and weighted matrix completion: Optical bounds with noise"
--http://www.eecs.berkeley.edu/~wainwrig/Papers/NegWai12_JMLR_MatComp.pdf
-G.Raskutti,M.J.Wainwright,and B.Yu,"Restricted eigenvalue properties for correlated gaussian designs"
--http://www.eecs.berkeley.edu/~wainwrig/Papers/RasWaiYu10.pdf

**岡谷,"深層学習",機械学習プロフェッショナルシリーズ（MLP）

**井手,杉山,"異常検知と変化検知"

*深層学習
**人工知能学会編,"深層学習",近代科学社
>
概要を知るにはいいかも。
<
**岡谷,"深層学習",機械学習プロフェッショナルシリーズ（MLP）


*異常検出

**山西,"データマイニングによる異常検知",共立出版
-理論的な本。

**井手,杉山,"異常検知と変化検知"


**瀬々,浜田,"生命情報処理における機械学習"

-サポートページ
--http://ide-research.net/book/support.html

**井手,"入門 機械学習による異常検知 ─Rによる実践ガイド─",コロナ社


-サポートページ
--http://ide-research.net/book/support.html

*バイオインフォマティックス
-RNAとかDNA配列の解析に使われる情報技術。

**丸山,阿久津,"バイオインフォマティックス シリーズ 予測と発見の科学"

**瀬々,浜田,"生命情報処理における機械学習"

*カーネル法

**大北剛（邦訳）,"サポートベクターマシン入門"：N.Cristianini,J.S.Taylor,"An Introsuction to Support Vector Machines and other kernel-based lerning methods",2000,Cambridge Univercity Press
>
RHKS:Reproducting Kernel Hilbert Spaceを応用した機械学習理論についての初期の頃の入門書である。
数学的な定理が、天下り的に書かれていて概要をつかむにはよいが、数学的な部分は、引用文献に頼っており読みにくい。
そういう意味で、外観をつかむには良いのかもしれない。
<

-サポートページ：http://www.support-vector.net/vacancies.html
--Neloと働かないか？みたいなことが書いてある。本気かな?

**大北剛（邦訳）,"カーネル法によるパターン解析",：J.S.Taylor,N.Cristianini,"Kernel Methods for Pattern Analysis",2004,Cambridge Univercity Press

>
前著("サポートベクターマシン入門")よりも分厚く、数学的説明が細かくてよい。
<

**Bernhard Scholkopf,Alexander J.Smola,"Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond "
>
カーネルPCAの先駆的研究者による著作。
<

**福水建次,"カーネル法入門-正定値カーネルによるデータ解析-",2010,朝倉書店
>
ぱっと目に入り購入に至る。
<

*データサイエンス、データマイニング
-原理的には、同じ数学使っているんですよね。

**Rで学ぶデータサイエンス [5] パターン認識
**Rで学ぶデータサイエンス [6] マシンラーニング

#navi(Library/工学)

 機械学習、パターン認識、推論

#contents

*他分野との関連
>
統計学、最適化問題、信号処理、解析学、確率論とも関連が深い
<
-[[Library/数学/確率論]]
-[[Library/数学/統計学]]
-[[Library/数学/解析学]]
-[[Library/数学/逆問題・数理計画法・最適化]]
-[[Library/工学/信号処理]]


*全般的な本

**Duda,Hart,"Pattern Analysis and Scene Analysis",Wiley
>
超古典的で原点的な本。
<

**Duda,Hart,Stork, "Pattern Classification" 
>
上記の本の第2版。
<

**上坂吉則, 尾関和彦 ,"パターン認識と学習のアルゴリズム"
>
KL展開の情報理論的説明が素晴らしい。ちょっと古い本。
<

**尾関和彦, "メディア情報処理の基礎数理"
>
情報処理(信号処理、パターン認識)を含む数理的問題について解説してある。きれいな理論が多く、非常にためになる。
<

**ビショップ, "パターン認識と機械学習"
>
ベイズ的なパターン認識の本としては有名な本。
<

-関連Blog
--http://aidiary.hatenablog.com/entry/20100404/1270359720

**光成滋生,"「パターン認識と機械学習」の学習"
>
ビショップ, "パターン認識と機械学習"の副読本登場！！こんな本出していいのかと思ったが、「ビショップ, "パターン認識と機械学習"」の数学的な飛躍部分を埋めるために書かれたようだ。もともと、社内の勉強ノートだとのこと。
<

-こんな感じの本。表紙の色いっしょだ。
-https://twitter.com/0_9_2_chan/status/367569436552597505/photo/1


**石井、上田、"わかりやすいパターン認識"、

**石井、上田、"続わかりやすいパターン認識 -教師なし学習入門-"

**エルッキ・オヤ, "パターン認識と部分空間法"





**杉山将,"統計的機械学習-生成モデルに基づくパターン認識-"
>
Octave,Matlabを用いた説明で、とてもシンプル。入門的としてはとてもよい。理論的なところもきちんと押さえている。EMアルゴリズムなど押さえどころがしっかりしている。
<


**山西健司,"情報論的機械学習"
>
MDLなど情報理論的な関係がよく書かれている。
<

**渡辺、萩原,赤穂,本村,福水,岡田,青柳,"学習システムの理論と実現"


**渡辺澄夫,"代数幾何と学習理論",森北出版（知能情報科学シリーズ）


**金森敬文,畑埜晃平,渡辺治,"ブースティング-学習アルゴリズムの設計技法-",森北出版（知能情報科学シリーズ）
>
ブースティングについての本
<


*機械学習プロフェッショナルシリーズ（MLP）

**杉山将,"機械学習のための確率と統計"

**河原,"劣モジュラ最適化と機械学習"

>
センサ配置問題に関心があり、購入した。
<

**鈴木大慈,"確率的最適化"

**中島,"機械学習プロフェッショナルシリーズ 変分ベイズ学習",講談社
**佐藤,"機械学習プロフェッショナルシリーズ ノンパメトリックベイズ",講談社 


**冨岡,"スパース性に基づく機械学習"

 概要をつかむには良いかもしれない。数式が引用文献頼りだったり、論理が飛躍しているのが難点。
 著者のMATLABのソースコードがGitHUB上に公開されている。

-著者HP
--http://tomioka.dk/
-著者スライドノート
--http://www.slideshare.net/ryotat

-著者GitHUB
--https://github.com/ryotat

-他パッケージ
-SPAMS
 フランスの研究グループが公開している。
---http://spams-devel.gforge.inria.fr/

 1章〜3章：準備
>
ポイント①：制約付き最小化と罰則項付き最小化問題の関係
<

>
ポイント②：絶対値損失と中央値の関係
<
-絶対値損失と中央値との関係は、以下のページの方が分かりやすい。
--http://tsujimotter.hatenablog.com/entry/2013/11/17/201051

 4章：ノイズ無しL1ノルム最小化
>
ポイント①：統計次元の話
<

-本文の重要なネタ元の論文（統計次元）
-D.Amelunxen, etc.,"Living on the Edge"
--スライド：http://people.ee.duke.edu/~lcarin/SAHD_Tropp.pdf
--論文：http://arxiv.org/pdf/1303.6672v2.pdf

-V.Chandrasekaran, etc.,"The convex geometry of linear inverse problem"
--論文：http://users.cms.caltech.edu/~venkatc/crpw_lip_focm12.pdf

-その他①：計算幾何学的方法による解釈
--D.L.Donoho, J.Tanner,"Counting faces of randomly projected hypercubes and orthants, with applications"
--論文：http://arxiv.org/pdf/0807.3590v1.pdf
--D.L.Donoho, J.Tanner,"Counting faces of randomly projected polytopes when the projection radically lowers dimension"
--論文：http://arxiv.org/pdf/math/0607364v2.pdf
--D.L.Donoho, J.Tanner,"Observed universality of phase transitions in high-dimensional geometry, with implications for modern data analysis and signal processing"
--論文：http://arxiv.org/pdf/0906.2530v1.pdf

-その他②：統計学的方法による解釈
--D.L.Donoho, A.Maleki, and A.Montaniri.,"Message-passing algorithms for compressed sensing"
--論文：https://web.stanford.edu/~montanar/RESEARCH/FILEPAP/mpacs.pdf
--Y.Kabashima, T.Wadaama, and T.Tanaka.,"A typical reconstruction limit for compressed sensing based o Lp-norm minimization"
--論文：http://arxiv.org/pdf/0907.0914.pdf

-その他③：制限等長性
--E.J.Candes.,"The restricted isometry property and its implementations for compressed sensing"
--論文：http://www.stat.yale.edu/~snn7/courses/stat679fa13/references/RIP.pdf

 5章：ノイズありL1ノルム最小化
>
ポイント①：ノイズがある場合の性能評価
<

-本文の重要なネタ元の論文（LASSO, 基底追跡雑音除去）
-R.Tibshirani,"Regression shrinkage and selection via the lasso"
--https://www.statistik.tu-dortmund.de/fileadmin/user_upload/Lehrstuehle/Genetik/MW0910/Tibshirani1996.pdf
-S.Chen,D.L.Donoho,and M.Saunders,"Atomic decomposition by basis pursuit"
--http://statweb.stanford.edu/~donoho/Reports/1995/30401.pdf

>
ポイント②：制限強凸性
<

-本文の重要なネタ元の論文（制限強凸性）
-S.Negahban ,P.Ravikumar, M.J.Wainwright,and B.Yu,"A unified framework for high-dimensional analysis of M-estimators with decomposable regularizers"
--http://arxiv.org/pdf/1010.2731.pdf

-S.Negahban and M.J.Wainwright,"Restricted strong convexity and weighted matrix completion: Optical bounds with noise"
--http://www.eecs.berkeley.edu/~wainwrig/Papers/NegWai12_JMLR_MatComp.pdf
-G.Raskutti,M.J.Wainwright,and B.Yu,"Restricted eigenvalue properties for correlated gaussian designs"
--http://www.eecs.berkeley.edu/~wainwrig/Papers/RasWaiYu10.pdf

**岡谷,"深層学習",機械学習プロフェッショナルシリーズ（MLP）

**井手,杉山,"異常検知と変化検知"

*深層学習
**人工知能学会編,"深層学習",近代科学社
>
概要を知るにはいいかも。
<
**岡谷,"深層学習",機械学習プロフェッショナルシリーズ（MLP）


*異常検出

**山西,"データマイニングによる異常検知",共立出版
-理論的な本。

**井手,杉山,"異常検知と変化検知"


**瀬々,浜田,"生命情報処理における機械学習"

-サポートページ
--http://ide-research.net/book/support.html

**井手,"入門 機械学習による異常検知 ─Rによる実践ガイド─",コロナ社


-サポートページ
--http://ide-research.net/book/support.html

*バイオインフォマティックス
-RNAとかDNA配列の解析に使われる情報技術。

**丸山,阿久津,"バイオインフォマティックス シリーズ 予測と発見の科学"

**瀬々,浜田,"生命情報処理における機械学習"

*カーネル法

**大北剛（邦訳）,"サポートベクターマシン入門"：N.Cristianini,J.S.Taylor,"An Introsuction to Support Vector Machines and other kernel-based lerning methods",2000,Cambridge Univercity Press
>
RHKS:Reproducting Kernel Hilbert Spaceを応用した機械学習理論についての初期の頃の入門書である。
数学的な定理が、天下り的に書かれていて概要をつかむにはよいが、数学的な部分は、引用文献に頼っており読みにくい。
そういう意味で、外観をつかむには良いのかもしれない。
<

-サポートページ：http://www.support-vector.net/vacancies.html
--Neloと働かないか？みたいなことが書いてある。本気かな?

**大北剛（邦訳）,"カーネル法によるパターン解析",：J.S.Taylor,N.Cristianini,"Kernel Methods for Pattern Analysis",2004,Cambridge Univercity Press

>
前著("サポートベクターマシン入門")よりも分厚く、数学的説明が細かくてよい。
<

**Bernhard Scholkopf,Alexander J.Smola,"Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond "
>
カーネルPCAの先駆的研究者による著作。
<

**福水建次,"カーネル法入門-正定値カーネルによるデータ解析-",2010,朝倉書店
>
ぱっと目に入り購入に至る。
<

*データサイエンス、データマイニング
-原理的には、同じ数学使っているんですよね。

**Rで学ぶデータサイエンス [5] パターン認識
**Rで学ぶデータサイエンス [6] マシンラーニング