メモ帳ブログ @ wiki

ニューラルネットワーク

最終更新：2009年01月29日 01:58

nina_a

- view

管理者のみ編集可

ニューラルネットワーク

このページを編集

概要

　ニューラルネットワーク（人工ニューラルネットワーク）とは、脳内の神経細胞（ニューロン）が構成しているネットワークを計算機上でシミュレートし、情報処理に用いようという物である。

線形ニューラルネットワーク

　以下にニューラルネットワークのイメージを示す。これは3入力の場合であり、1は定数項（バイアス項、切片項）を表している。

図・ニューラルネットワーク

　線形ニューラルネットワークでは $f(x_1,x_2,x_3)=w_0 1+w_1x_1+w_2x_2+w_3x_3$ のような一次式である。

ニューラルネットワークの学習

二乗誤差和

	入力１	入力２	･･･	入力ｐ	出力
学習例１	$x_{11}$	$x_{12}$	･･･	$x_{1p}$	$y_1$
学習例２	$x_{21}$	$x_{22}$	･･･	$x_{2p}$	$y_2$
･･･	･･･	･･･	･･･	･･･	･･･
学習例ｎ	$x_{n1}$	$x_{n2}$	･･･	$x_{np}$	$y_n$

表・学習用データ

　ニューラルネットワークの学習とは、ウエイト（重みパラメータ） $w$ を調整して出力が望ましい出力（ $y_i$ ）に近くなるようにすることである。i番目の学習データに対する誤差を $e_i$ とすると、
$e_i=y_i-(w_0+w_1x_{i1}+\cdots+w_px_{ip})$
であり、二乗誤差は、
${e_i}^2=\left\{y_i-(w_0+w_1x_{i1}+\cdots+w_px_{ip})\right\}^2$
で表される。
　二乗誤差和 $E\equiv\sum_{i=1}^n{e_i}^2$ を最小にするようなパラメータ

$\mathbf{w}\equiv\begin{bmatrix}w_1&w_2&\cdots&w_n\end{bmatrix}^\top$

を求めればよいから、ニューラルネットワークの学習は、

$\min_{\mathbf{w}}E$

で表される。
　ここで、二乗誤差和を行列表現で記述すると、
$E=(\mathbf{y}-\mathbf{Xw})^\top(\mathbf{y}-\mathbf{Xw})$
で表される。ただし、

$\mathbf{y}\equiv\begin{bmatrix}y_1&y_2&\cdots&y_n\end{bmatrix}^\top$

$\mathbf{X}\equiv \begin{bmatrix} </p> <pre> 1 & x_{11} & x_{12} & \cdots & x_{1p} \\ 1 & x_{21} & x_{22} & \cdots & x_{2p} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n1} & x_{n2} & \cdots & x_{np} </pre> <p>\end{bmatrix}$

である。

最適性条件

　Eが最小になる所では、 $\mathbf{w}$ に対するEの偏微分係数が0となる。すなわち、
$\frac{\partial E}{\partial\mathbf{w}}=\begin{bmatrix} \frac{\partial E}{\partial w_0} \\ \frac{\partial E}{\partial w_1} \\ \vdots \\ \frac{\partial E}{\partial w_p} \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ \vdots \\ 0 \end{bmatrix} = \mathbf{0}$
が成り立つ。

　ここで、Eを展開すると、
$E=\mathbf{y}^\top \mathbf{y}-2\mathbf{w}^\top\mathbf{X}^\top\mathbf{y}+\mathbf{w}^\top\mathbf{X}^\top\mathbf{X}\mathbf{w}$
であるから、最適性条件は、
$\frac{\partial E}{\partial\mathbf{w}}=-2(\mathbf{X}^\top\mathbf{y})+2(\mathbf{X}^\top\mathbf{X})\mathbf{w} = 0$
　 $\therefore (\mathbf{X}^\top\mathbf{X})\mathbf{w} = \mathbf{X}^\top\mathbf{y}$
と表される。この式を正規方程式と呼ぶ。この連立方程式を解くためにはコレスキ分解を用いる。