nopu@wiki
nopu@wiki

計画行列

最小二乗問題
回帰モデル
g(\mathbf{x}; \mathbf{w}) = \sum_{p=1}^P w_p \phi_p( \mathbf{x} ) + w_0
定式化
minimize E( \mathbf{w} ) := \sum_{n=1}^N \Big| t_n - g(\mathbf{x}_n; \mathbf{w}) \Big|^2

計画行列( design matrix )
{\boldsymbol \Phi} := \begin{pmatrix} \phi_1(\mathbf{x}_1) & \cdots & \phi_P(\mathbf{x}_1) \\ \vdots & \ddots & \vdots \\\ \phi_1(\mathbf{x}_N) & \cdots & \phi_P(\mathbf{x}_N)\end{pmatrix} = \begin{pmatrix} {\boldsymbol\phi}^\mathrm{T}(\mathbf{x}_1) \\ \vdots \\ {\boldsymbol\phi}^\mathrm{T}(\mathbf{x}_N) \end{pmatrix} = \begin{pmatrix} \phi_1(\mathbf{x}) & \cdots & \phi_P(\mathbf{x}) \end{pmatrix}
</pre>
<p>



{\boldsymbol \Phi}_{ij} = \left( \phi_j( \mathbf{x}_i )\right)



正規方程式( normal equation )
{\boldsymbol\Phi}^\mathrm{T} {\boldsymbol\Phi} \mathbf{w} ={\boldsymbol\Phi}^\mathrm{T} \mathbf{t}
\Leftrightarrow \mathbf{w}^\mathrm{T} \sum_{n=1}^N {\boldsymbol\phi}(\mathbf{x}_n) {\boldsymbol\phi}(\mathbf{x}_n)^\mathrm{T} = \sum_{n=1}^N t_n {\boldsymbol\phi}(\mathbf{x}_n)^\mathrm{T}





計画行列の見方1
{\boldsymbol \Phi} = \begin{pmatrix} {\boldsymbol\phi}^\mathrm{T}(\mathbf{x}_1) \\ \vdots \\ {\boldsymbol\phi}^\mathrm{T}(\mathbf{x}_N) \end{pmatrix}
</pre>
<p>



基底関数は入力を特徴空間へ写像していると考えると，
{\boldsymbol \xi}_n := {\boldsymbol \phi}( \mathbf{x}_n ) \in \mathbb{R}^P
として，問題は {\boldsymbol \xi}空間の入力をとる線形回帰モデル
\widetilde{ g }( {\boldsymbol \xi} ) = \sum_{p=1}^P w_p \xi_p + w_0
による線形回帰に帰着する。
このとき計画行列は単に
{\boldsymbol \Phi} = \begin{pmatrix} {\boldsymbol \xi}_1^\mathrm{T} \\ \vdots \\ {\boldsymbol \xi}_N^\mathrm{T} \end{pmatrix}
となる。
つまり，入力データを行順に詰めた行列である。





計画行列の見方2
{\boldsymbol \Phi} = \begin{pmatrix} \phi_1(\mathbf{x}) & \cdots & \phi_P(\mathbf{x}) \end{pmatrix}
</pre>
<p>



関数を並べたものだと思うと，以下はグラム行列とみなせる。
( {\boldsymbol \Phi}^\mathrm{T} {\boldsymbol \Phi} )_{ij} = \phi_i^\mathrm{T} \phi_j





計画行列の見方3
{\boldsymbol \Phi} = \begin{pmatrix} \phi_1(\mathbf{x}) & \cdots & \phi_P(\mathbf{x}) \end{pmatrix}
</pre>
<p>



添字付けられた関数の「集合」とみなす。

「データ」を実数全体からとると，一本一本は完全に関数を記述することになる。
{\boldsymbol \Phi} = \{ \phi_j( x ) : \mathbb{R}^m \to \mathbb{R} \}_{j=1}^J
添字集合にも実数全体をとると，関数族は新たに一つの関数とみなすのが自然である。
{\boldsymbol \Phi} = \{ \phi( x, \alpha ) : \mathbb{R}^m \times \mathbb{R} \to \mathbb{R} \}

逆に，「行列」を関数とみなすこともできる。
{\boldsymbol \Phi} : \{ 1, \cdots, N \} \times \{ 1, \cdots, P \} \to \mathbb{R}

上記の連続拡張において，グラム行列は内積(カーネル)に拡張されると考えるのが自然である。
({\boldsymbol \Phi}^\mathrm{T} {\boldsymbol \Phi})_{\alpha \beta} = \int \phi(x, \alpha)^* \phi( x, \beta ) dx


    「計画行列」をウィキ内検索



最終更新：2011年11月27日 01:19

                

                    
  ツールボックス 

                    

                        
下から選んでください:

                         新しいページを作成する 
                        
                        
  ヘルプ  /  FAQ  もご覧ください。