nopu@wiki
nopu@wiki

線形回帰

座標系に依らない計算を示す。

V = \mathbb{R}^n
a \in V 近似対象
\{ e_i \}_{i=1}^m =: S \subset V 一次独立とは限らない弱基底系
Vの内積\langle \cdot, \cdot \rangle が誘導するノルム
\| a - \sum_i c_i e_i \|
を最小化する。

\| a - \sum_i c_i e_i \|^2 = \langle a - \sum_i c_i e_i, a - \sum_i c_i e_i \rangle = \langle a , a \rangle -2 \langle a, \sum_i c_i e_i \rangle + \langle \sum_i c_i e_i, \sum_i c_i e_i \rangle
従ってこれをc_iで微分したものを0とおくと，
\sum_j c_j \langle e_j, e_i \rangle = \langle a, e_i \rangle 
即ち，
G(S)^{-1} \begin{bmatrix} c_1 \\ \vdots \\ c_m \end{bmatrix} = \begin{bmatrix} \alpha_1 \\ \vdots \\ \alpha_m \end{bmatrix}
ただし，G(S)_{ij} := \langle e_i, e_j \rangle \ \alpha_i := \langle a, e_i \rangle

G(S) = U \Sigma V^* と特異値分解して，G(S)^\dag := V \Sigma^{-1} U^* によって一般化逆行列を計算する。
「線形回帰」をウィキ内検索
最終更新：2011年04月14日 18:54
ツールボックス

下から選んでください:

新しいページを作成する
ヘルプ / FAQ もご覧ください。