http://w.atwiki.jp/machinelearning/ AIとか機械学習とか、それらのコンテストとかのwiki ja 2012-03-09T21:41:13+09:00 1331296873 https://w.atwiki.jp/machinelearning/pages/30.html //C++ #include <map> #include <set> #include <cmath> #include <stack> #include <queue> #include <string> #include <vector> #include <bitset> #include <fstream> #include <sstream> #include <stdio.h> #include <ctype.h> #include <string.h> #include <iostream> #include <algorithm> #include <sys/time.h> using namespace std; #define li long long int #define rep(i,to) for(li i=0;i<((li)(to));++i) #define pb push_back #define sz(v) ((li)(v).size()) #define bit(n) (1ll<<(li)(n)) #define all(vec) (vec).begin(),(vec).end() #define each(i,c) for(__typeof((c).begin()) i=(c).begin();i!=(c).end();i++) #define MP make_pair #define F first #define S second #define MAX 40000 double X[4]={0,0,10,10}; double Y[4]={0,10,0,10}; li cluster[MAX]; pair<double,double> center[4]; pair<double,double> points[MAX]; int main(){ rep(i,MAX) points[i]=MP(rand()%7-3.0+X[i%4],rand()%7-3.0+Y[i%4]); rep(i,4) center[i]=MP(rand(),rand()) 2012-03-09T21:41:13+09:00 1331296873 https://w.atwiki.jp/machinelearning/pages/29.html 概要はk-meansで画像をググるとよくわかる。 n次元の点をクラスタリングする。 まずn個の点を適当にクラスタリング。 １、n個の点を一番近い基準点にクラスタリングする。 ２、各基準点をクラスタリングされた点の重心に移動する。 ３、１に戻る。 [[ソース>>http://www18.atwiki.jp/machinelearning/pages/30.html]] 中心(0,0),(0,10),(10,0),(10,10)の半径5の円内に点を適当に置く。 それをクラスタリング。 &link_edit(編集) 2012-03-09T21:43:15+09:00 1331296995 https://w.atwiki.jp/machinelearning/pages/28.html //C++ #include <map> #include <set> #include <cmath> #include <stack> #include <queue> #include <string> #include <vector> #include <bitset> #include <fstream> #include <sstream> #include <stdio.h> #include <ctype.h> #include <string.h> #include <iostream> #include <algorithm> #include <sys/time.h> using namespace std; #define li long long int #define rep(i,to) for(li i=0;i<((li)(to));++i) #define pb push_back #define sz(v) ((li)(v).size()) #define bit(n) (1ll<<(li)(n)) #define all(vec) (vec).begin(),(vec).end() #define each(i,c) for(__typeof((c).begin()) i=(c).begin();i!=(c).end();i++) #define MP make_pair #define F first #define S second string label[]={"foot","eye","mouth"}; string type[]={"insect","non insect","alien"}; li data[][4]={ {2,2,1,1}, {6,2,1,0}, {2,0,1,1}, {6,0,1,0}, {4,2,1,1}, {2,8,4,0}, {9,9,9,2}}; struct Node{ vector<pair<li,Node> > child; string label; }; Node make(vector 2012-03-09T21:41:31+09:00 1331296891 https://w.atwiki.jp/machinelearning/pages/27.html 教師有り学習アルゴリズム パラメーターから属するカテゴリを判別する。 与えられたデータから決定木を作成する 原理としてはオッカムの剃刀に基づく。 つまり少ない仮定で導かれる事実は優れている。 なので情報量が多い分岐を上に持ってくればいい。 つまり分岐後の平均情報量が少なくなるようにする。 　 逐次改善が行えない。 パラメーターが連続的だと使えない。 C4.5を要勉強 [[ID3のソース>>http://www18.atwiki.jp/machinelearning/pages/28.html]] 入力は以下。種類を推定する 足：目：口：種類 ２：２：１：虫じゃない ６：２：１：虫 ２：０：１：虫じゃない ６：０：１：虫 ４：２：１：虫じゃない ２：８：４：虫 ９：９：９：宇宙人 答えは足->目になるはず。 &link_edit(編集) 2012-03-09T21:11:51+09:00 1331295111 https://w.atwiki.jp/machinelearning/pages/26.html 多重共線性 重回帰分析において関連性の高い要素が入るとバグる。 例えば理科に対する、数学と国語の関係を考える。 数学が上がると理科が上がるのは明らか。 しかし、そのせいで国語が上がると理科が下がりかねない。 この時は、数学か国語の一方を取り除けばいい。 けど、数学と国語の和と、数学と国語の差に変形してもいい。 ただ信頼性は落ちるのでサンプル数を増やす必要があるらしい。 &link_edit(編集) 2012-03-08T19:03:37+09:00 1331201017 https://w.atwiki.jp/machinelearning/pages/25.html 多次元の点が渡されるのでそれについての関係を考える どれらがどんな感じで関係してるかを求める 関係しそうな変数を自分で決める。 線形回帰でそれらについての関数を求める。 そしてどれとどれが関係が深いかとかを調べる。 例えば 0.1*a+1*b+1000*c=z とかだったらcとzの関係が深そう。 (2.0001<c<2.0002)だとしたらzに与える影響は小さい (0<a<100000000)とかだったらaが支配的。 これじゃよくわからないので各変数の平均を0,分散を1にしてやる。 ただ変数を変化させるのは面倒いので係数を変更する。 cの分散をS[c],係数をw[c]としたらw'[c]=w[c]*sqrt(S[c]/S[z]) &link_edit(編集) 2012-02-19T07:20:29+09:00 1329603629 https://w.atwiki.jp/machinelearning/pages/24.html //C++ #include <map> #include <set> #include <cmath> #include <stack> #include <queue> #include <string> #include <vector> #include <bitset> #include <fstream> #include <sstream> #include <stdio.h> #include <ctype.h> #include <string.h> #include <iostream> #include <algorithm> #include <sys/time.h> using namespace std; #define li long long int #define rep(i,to) for(li i=0;i<((li)(to));++i) #define pb push_back #define sz(v) ((li)(v).size()) #define bit(n) (1ll<<(li)(n)) #define all(vec) (vec).begin(),(vec).end() #define each(i,c) for(__typeof((c).begin()) i=(c).begin();i!=(c).end();i++) #define MP make_pair #define F first #define S second // p.180 // #define MAT_TYPE double //#define MAT_MOD // class MAT{ public: long long int n,m; vector<vector<MAT_TYPE> > mat; inline MAT(); inline MAT(int _n); inline MAT(int _n,int _m,int num); inline void print(); inline long long int size(); 2012-02-18T11:08:29+09:00 1329530909 https://w.atwiki.jp/machinelearning/pages/23.html 二次元の点が与えられるからそれらを通る関数を求める 与えられる点を(x,y)とする。 欲しい関数をf(a)=Σ(w[i]*a^i):[0<=i<n]とする。 きっと全点は通れないので大体近い関数を見つける。 何が『大体近い』かは自分で適当に決める。 Σ( (f(x)-y)*(f(x)-y) )を最小にするのが人気らしい。 なのでここではこれを最小にするw[i]:(0<=i<n)を求める。 各w[i]:(0<=i<n)において微分する。 d(Σ(f(x)-y)*(f(x)-y))/dw[i]=0となる。 これで式がn個得られるので連立方程式を解けばいい。 X[i][j]=(x[i]^j)とする T(X)をXの転置行列とする W=((T(X)*X)^-1)*T(X)*Y [[線形回帰のソース>>http://www18.atwiki.jp/machinelearning/pages/24.html]] &link_edit(編集) 2012-02-18T11:11:17+09:00 1329531077 https://w.atwiki.jp/machinelearning/pages/22.html //C++ #include <map> #include <set> #include <cmath> #include <stack> #include <queue> #include <string> #include <vector> #include <bitset> #include <fstream> #include <sstream> #include <stdio.h> #include <ctype.h> #include <string.h> #include <iostream> #include <algorithm> #include <sys/time.h> using namespace std; #define li long long int #define rep(i,to) for(li i=0;i<((li)(to));++i) #define pb push_back #define sz(v) ((li)(v).size()) #define bit(n) (1ll<<(li)(n)) #define all(vec) (vec).begin(),(vec).end() #define each(i,c) for(__typeof((c).begin()) i=(c).begin();i!=(c).end();i++) #define MP make_pair #define F first #define S second #define MAX 2 #define RANGE 100 string name[]={"even","odd "}; double cnt1[MAX]; double cnt2[MAX][RANGE]; void study(){ rep(i,10000){ int target=rand()%2; int num=rand()/2*2+target; if(rand()%3==0) num++; cnt1[target]++; cnt2[target][num%RANGE]++; } 2012-02-17T10:09:55+09:00 1329440995 https://w.atwiki.jp/machinelearning/pages/21.html 分類アルゴリズム。 各要素が独立なときに使える カテゴリA,B,C 要素a,b,c,d,e,f,g a,dからなる物はどのカテゴリに分類されるか。 なおaの有無はbの有無の確率に影響しない(独立)。 P(A|a,d),P(B|a,d),P(C|a,d)のうち最大のが知りたい。 P(A,a)=P(A|a)*P(a)=P(a|A)*P(A)より P(A|a)=P(a|A)*P(A)/P(a) : P(a)は共通なのでなくていい P(A|a,d)=P(A|a)*P(A|b)=P(a|A)*P(A)*P(d|A)*P(A) アンダーフローするのでlog取る。 出現回数が0だと困るので全部に1足してやればいい。 適当な集合を偶寄カテゴリに分けるプログラム。 各カテゴリは自分の数字を2:1の割合で含む教師を与えられる [[偶奇カテゴリ分けプログラム>>http://www18.atwiki.jp/machinelearning/pages/22.html]] &link_edit(編集) 2012-02-17T09:50:11+09:00 1329439811