「線形回帰」の編集履歴（バックアップ）一覧はこちら
線形回帰 - (2011/04/14 (木) 18:54:08) の１つ前との変更点
追加された行は緑色になります。
削除された行は赤色になります。
<math>V = \mathbb{R}^n</math>
<math>a \in V</math> 近似対象
<math>\{ e_i \}_{i=1}^m =: S \subset V</math> 一次独立とは限らない弱基底系
<math>V</math>の内積<math>\langle \cdot, \cdot \rangle</math> が誘導するノルム
<math>\| a - \sum_i c_i e_i \|</math>
を最小化する。
<math>\| a - \sum_i c_i e_i \|^2 = \langle a - \sum_i c_i e_i, a - \sum_i c_i e_i \rangle = \langle a , a \rangle -2 \langle a, \sum_i c_i e_i \rangle + \langle \sum_i c_i e_i, \sum_i c_i e_i \rangle</math>
従ってこれを<math>c_i</math>で微分したものを0とおくと，
<math>\sum_j c_j \langle e_j, e_i \rangle = \langle a, e_i \rangle </math>
即ち，
<math>\begin{bmatrix} c_1 \\ \vdots \\ c_m \end{bmatrix} = G(S)^{-1} \begin{bmatrix} \alpha_1 \\ \vdots \\ \alpha_m \end{bmatrix}</math>
ただし，<math>G(S)_{ij} := \langle e_i, e_j \rangle \ \alpha_i := \langle a, e_i \rangle</math>
適当な座標をとると，
<math>\langle x, y \rangle = \widetilde{x}^\mathrm{T} G \widetilde{y}</math>
とできる。
以下では簡単のため，
'''座標系に依らない計算を示す。'''
<math>V = \mathbb{R}^n</math>
<math>a \in V</math> 近似対象
<math>\{ e_i \}_{i=1}^m =: S \subset V</math> 一次独立とは限らない弱基底系
<math>V</math>の内積<math>\langle \cdot, \cdot \rangle</math> が誘導するノルム
<math>\| a - \sum_i c_i e_i \|</math>
を最小化する。
<math>\| a - \sum_i c_i e_i \|^2 = \langle a - \sum_i c_i e_i, a - \sum_i c_i e_i \rangle = \langle a , a \rangle -2 \langle a, \sum_i c_i e_i \rangle + \langle \sum_i c_i e_i, \sum_i c_i e_i \rangle</math>
従ってこれを<math>c_i</math>で微分したものを0とおくと，
<math>\sum_j c_j \langle e_j, e_i \rangle = \langle a, e_i \rangle </math>
即ち，
<math>G(S)^{-1} \begin{bmatrix} c_1 \\ \vdots \\ c_m \end{bmatrix} = \begin{bmatrix} \alpha_1 \\ \vdots \\ \alpha_m \end{bmatrix}</math>
ただし，<math>G(S)_{ij} := \langle e_i, e_j \rangle \ \alpha_i := \langle a, e_i \rangle</math>
<math>G(S) = U \Sigma V^*</math> と特異値分解して，<math>G(S)^\dag := V \Sigma^{-1} U^*</math> によって一般化逆行列を計算する。
