### 最小二乘法：
人們對由某一變量t 或多個變量t1,…,tn 構成的相關變量y感興趣。如彈簧的形變與所用的力相關，一個企業的盈利與其營業額，投資收益和原始資本有關。為了得到這些變量同y之間的關系，便用不相關變量去構建y，使用如下函數模型
ym=f(t1,…,tq;x1,…,xp)
q個相關變量或p個附加的相關變量去擬和。
通常人們將一個可能的、對不相關變量t的構成都無困難的函數類型稱作函數模型（如拋物線函數或指數函數）。參數x是為了使所選擇的函數模型同觀測值y相匹配。（如在測量彈簧形變時，必須將所用的力與彈簧的膨脹系數聯系起來）。其目標是合適地選擇參數，使函數模型最好的擬合觀測值。一般情況下，觀測值遠多于所選擇的參數。
其次的問題是怎樣判斷不同擬合的質量。高斯和勒讓德的方法是，假設測量誤差的平均值為0。令每一個測量誤差對應一個變量并與其它測量誤差不相關（隨機無關）。人們假設，在測量誤差中絕對不含系統誤差，它們應該是純偶然誤差，圍繞真值波動。除此之外，測量誤差符合正態分布，這保證了偏差值在最后的結果y上忽略不計。
確定擬合的標準應該被重視，并小心選擇，較大誤差的測量值應被賦予較小的權。并建立如下規則：被選擇的參數，應該使算出的函數曲線與觀測值之差的平方和最小。用函數表示為：
minx??∑i=1n(ym?yi)2
用歐幾里得度量表達為：
minx??∥y??m(x??)?y??∥2?
最小化問題的精度，依賴于所選擇的函數模型。
### 線性函數模型
典型的一類函數模型是線性函數模型。最簡單的線性式是y=x0+x1t，寫成行列式，為
minx0,x1∥∥∥∥∥?????1?1t1?tn?????(x0x1)??????y1?yn?????∥∥∥∥∥2=minx∥Ax?b∥2
直接給出該式的參數解：
x1=∑ni=1tiyi?n?tˉyˉ∑ni=1t2i?n?(tˉ)2和x0=yˉ?x1tˉ
其中tˉ=1n∑ni=1ti，為t值的算術平均值。也可解得如下形式：
x1=∑ni=1(ti?tˉ)(yi?yˉ)∑ni=1(ti?tˉ)2
### 一般線性情況
若含有更多不相關模型變量t1,...,tq，可如組成線性函數的形式
y(t1,…,tq;x0,x1,…,xq)=x0+x1t1+?+xqtq
即線性方程組
x0+x1t11+?+xjt1j+?+xqt1q=y1x0+x1t21+?+xjt2j+?+xqt2q=y2?x0+x1ti1+?+xjtij+?+xqtiq=yi?x0+x1tn1+?+xjtnj+?+xqtnq=yn
通常人們將tij記作數據矩陣 A，參數xj記做參數矢量x，觀測值yi記作b，則線性方程組又可寫成：
??????????11?1?1t11t21ti1tn1????t1j?t2j?tij?tnj?t1qt2qtiqtnq??????????????????????x0x1x2?xj?xq???????????=??????????y1y2?yi?yn??????????
即 Ax=b
上述方程運用最小二乘法導出為線性平差計算的形式為：
minx∥Ax?b∥2
### 最小二乘法的解
定理：線性方程組Ax=b的LS問題一定有解，且求解LS問題與求解線性方程組的**法方程組等價**
ATAx=ATb
證明：
rank(A)=rank(ATA)?rank(ATA)≤rank([ATA,ATb])=rank(aT[A,b])≤rank(AT)=rank(A)?rank(ATA)=rank([ATA,ATb])
從而方程組一定有解
f(x)=∥b?Ax∥2∥b?Ax?∥2=minx∈Rn∥b?Ax∥2??????
gradf(x?)=(?f(x?)?x1,?f(x?)?x2,…,?f(x?)?xn)T=0?2(ATAx??ATb)=0
說明LS解必定是法方程組的解
ATAx?=ATb?AT(Ax??b)=0?Ax??b⊥R(A)={y∈Rm|y=Ax,x∈Rn}?∥b?Ax∥2=∥(b?Ax?)+A(x??x)∥2=∥b?Ax?∥2+∥A(x??x)∥2≥∥b?Ax?∥2
說明法方程組的解必定是LS解
推論：當秩(Am×n)=n時，ATA為對稱正定矩陣，最小二乘法問題有唯一解
xLS=(ATA)?1ATb
其中(ATA)?1AT稱為A的偽逆矩陣，標記為A?> 證明：
先將b拆成A的值域及其正交補兩部分
b=b1+b2
b1=AA?b∈R(A)
b2=(I?AA?)b∈R(A)⊥
所以Ax?b1∈R(A)，可得
∥∥Ax?b∥∥2=∥∥Ax?b1+(?b2)∥∥2=∥∥Ax?b1∥∥2+∥∥b2∥∥2
故當且僅當
x
是
Ax=b1=AA?b
解時，
x
即為最小二乘解，即
x=A?b
。
又因為
N(A)=N(A?A)=R(I?A?A)={(I?A?A)h:h∈Cn}
故
Ax=AA?b
的通解為
x=A?b+(I?A?A)h:h∈Cn
因為
∥∥A?b∥∥2<∥∥A?b∥∥2+∥∥(I?A?A)h∥∥2=∥∥A?b+(I?A?A)h∥∥2,(I?A?A)h≠0
所以
A?b
又是二范數極小的最小二乘解。
### 例題：
求解超定方程組的最小二乘問題：
???????2x1+4x2=13x1?5x2=3x1+2x2=62x1?x2=7?A=??????23124?521??????,b=??????1367??????
系數矩陣A是列滿秩的，古可以求最小二乘法的解！
最小二乘法解為：
最小平方殘差：
本例是用法方程組來求解最小二乘法問題的解！但是這樣作也可能會引出好多問題！我們提倡用QR分解來求解。
