最初の式①は次のように書かれています：
y i = β i 1 x i 1 + β i 2 x i 2 + ⋯ + β i k x i k + μ i y_i = \beta_{i1}x_{i1} + \beta_{i2}x_{i2} + \dots + \beta_{ik}x_{ik} + \mu_iyi=βi1xi1+βi2xi2+⋯+βikxik+μi
式①は、線形回帰モデルの基本形を表しています。
式②は、説明変数x i 1 x_{i1}xi1を他の説明変数（x i 2 , x i 3 , . . . , x i k x_{i2}, x_{i3}, ..., x_{ik}xi2,xi3,...,xik）と誤差項f i f_ifiを使って説明するものです：
x i 1 = γ i 2 x i 2 + γ i 3 x i 3 + ⋯ + γ i k x i k + f i x_{i1} = \gamma_{i2}x_{i2} + \gamma_{i3}x_{i3} + \dots + \gamma_{ik}x_{ik} + f_ixi1=γi2xi2+γi3xi3+⋯+γikxik+fi
ここでは、説明変数x i 1 x_{i1}xi1を他の説明変数で回帰しています。この操作は、後の計算で式を簡単化するために行われます。
次に、式②を式①に代入します：
y i = β i 1 f i + ( β i 2 + β i 1 γ i 2 ) x i 2 + ⋯ + ( β i k + β i 1 γ i k ) x i k y_i = \beta_{i1}f_i + (\beta_{i2} + \beta_{i1}\gamma_{i2})x_{i2} + \dots + (\beta_{ik} + \beta_{i1}\gamma_{ik})x_{ik}yi=βi1fi+(βi2+βi1γi2)xi2+⋯+(βik+βi1γik)xik
条件k ≥ 2 k \geq 2k≥2の下で、( β i k + β i 1 γ i k ) x i k = 0 (\beta_{ik} + \beta_{i1}\gamma_{ik})x_{ik} = 0(βik+βi1γik)xik=0が成立すると仮定しています。
この仮定により、式がさらに簡略化されます。このような仮定は、変数間の相関やモデルの特性によって正当化されることがあります。
正規方程式とは、回帰係数を求めるために使用する式のセットです。以下の形で与えられます：
∑ y i x i 1 = ∑ { β i 1 f i + ( β i 2 + β i 1 γ i 2 ) x i 2 + … } x i 1 \sum y_i x_{i1} = \sum \{\beta_{i1}f_i + (\beta_{i2} + \beta_{i1}\gamma_{i2})x_{i2} + \dots \} x_{i1}∑yixi1=∑{βi1fi+(βi2+βi1γi2)xi2+…}xi1
これをすべての説明変数について計算し、最終的に式を簡単化します。
前述の性質（特定の項が 0 になる）を利用すると、以下が成立します：
∑ y i x i 1 = ∑ β i 1 f i x i 1 \sum y_i x_{i1} = \sum \beta_{i1} f_i x_{i1}∑yixi1=∑βi1fixi1
この式から、β i 1 \beta_{i1}βi1の推定量が次のように求められます：
β i 1 = ∑ y i f i ∑ f i 2 \beta_{i1} = \frac{\sum y_i f_i}{\sum f_i^2}βi1=∑fi2∑yifi
この過程は、回帰モデルを解釈しやすくしたり、計算を効率化するためのアプローチです。
モデル
ｙi＝Βi1ｘi1＋Βi2ｘi2＋・・・＋Βikｘik＋μi・・・①
ｘ１についてｘ２、ｘ３・・・、ｘｋ、μiで回帰すると
ｘi1＝γi2ｘi2＋...＋γikｘik＋fi・・・②
②を①に代入
ｙi＝Βi1fi＋(Βi2＋Βi1γi2)ｘi2＋・・・＋(Βik＋Βi1γik)ｘik・・・③
ｋ≧2のとき、(Βik＋Βi1γik)ｘik＝０
正規方程式より
Σyixi1＝Σ｛Βi1fi＋(Βi2＋Βi1γi2)ｘi2＋・・・＋(Βik＋Βi1γik)ｘik｝xi1
Σyixi2＝Σ｛Βi1fi＋(Βi2＋Βi1γi2)ｘi2＋・・・＋(Βik＋Βi1γik)ｘik｝xi2
・
・
・
Σyixik＝Σ｛Βi1fi＋(Βi2＋Βi1γi2)ｘi2＋・・・＋(Βik＋Βi1γik)ｘik｝xik
前述の性質より
Σyixi1＝ΣΒi1fixi1
よって
Βの推定量＝Σyixi1/Σfixi
＝Σfiyi/Σ(fi^2)
