最小二乘法小結(jié)

1、最小二乘法原理最小二乘法原理1.1.介紹部分介紹部分最小二乘法是獲得物理參數(shù)唯一值的標(biāo)準(zhǔn)方法，具體是通過這些參數(shù)或者在已知數(shù)學(xué)模型中與這些參數(shù)相關(guān)的參數(shù)的多余觀測值來求得。最小二乘法最早是由高斯提出，用來估計行星運(yùn)行軌道的。1.11.1數(shù)理統(tǒng)計和最小二乘法數(shù)理統(tǒng)計和最小二乘法物理量總是不能被精確測定?？偸谴嬖谝粋€限定的測量精度，超過這個精度，相關(guān)的數(shù)學(xué)模型和測量儀器的分辨率這兩者之一或者全部將會無能為力。超出這個精度，多余觀測值之間會產(chǎn)

2、生差異。我們常常希望獲得超過該限定精度的測量值，在不知道真值的情況下我們只能估計真值。一方面我們想要估計出唯一的值，另一方面，我們想要知道這個估計有多好。最小二乘法就是這樣一個估計，它基于最小化差值的平方和。最小二乘法相比其他傳統(tǒng)的方法有三個優(yōu)點。其一，它既可以應(yīng)用在線性數(shù)學(xué)模型上也可以應(yīng)用在非線性數(shù)學(xué)模型上；其二，它和統(tǒng)計量算術(shù)平均值有關(guān)；其三，最小二乘法在很多領(lǐng)域是通用的。物理量的值的唯一統(tǒng)計估計稱為點估計。無論頻率函數(shù)是否知道，我

3、們都可以作物理量的點估計并且可以衡量它與真值趨近程度。另外兩種估計，區(qū)間估計以及假設(shè)檢驗，它們只能在相應(yīng)的頻率函數(shù)已經(jīng)確定的情況下進(jìn)行。1.21.2線性代數(shù)和最小二乘法線性代數(shù)和最小二乘法（nontrivial=nonzero，非平凡解就是指非零解）現(xiàn)有線性方程組AX=L（11）X是未知數(shù)向量，L是常數(shù)向量，A是系數(shù)矩陣，[A:L]是增廣矩陣。該方程組有唯一非零解僅當(dāng)L≠0（非齊次方程組），（12a）r(A)=X的維數(shù)，（12b）測誤差

4、是正態(tài)分布，那么最小二乘方差估計就是最大似然估計?？紤]更一般的情形，此時觀測量未知參數(shù)的非線性方程相關(guān)(111)VLXF??)(或者，觀測量與未知參數(shù)的方程非線性相關(guān)(112)0)(??VLXF1.31.3數(shù)字計算機(jī)和最小二乘法數(shù)字計算機(jī)和最小二乘法從實際出發(fā)，矩陣求逆以及矩陣乘法都要求海量的計算步驟。在大型快速計算機(jī)發(fā)明以前，除非絕對必要，一般是不會去做這樣的嘗試。然而測量網(wǎng)坐標(biāo)的最小二乘估計就是這樣的必要情況。以前的大地測量學(xué)家在簡

5、化步驟創(chuàng)新方法上做出很多努力，計算機(jī)發(fā)明之后這項工作顯得沒原來那么重要了。然而計算機(jī)也不能同時計算多達(dá)數(shù)千個方程，因此，如今大地測量學(xué)家把精力放在改進(jìn)算法上，以便將一個大問題拆分成許多小問題，再逐一解決。1.41.4高斯和最小二乘法高斯和最小二乘法以下是對高斯一段引文的翻譯“如果用于軌道計算的天文觀測值和其他量是完全正確的，則軌道要素也是嚴(yán)格準(zhǔn)確的，而無論是從三個或者四個觀測值上推導(dǎo)出來（到目前為止軌道運(yùn)動確實按照開普勒定律在進(jìn)行），因

6、此，如果使用其他觀測值，則軌道要素可能被確定但不準(zhǔn)確。但是，因為我們的所有測量值和觀測值都只是真值的近似，那么依賴于它們的所有計算也一定是正確的，關(guān)于具體現(xiàn)象的所有計算的最高目標(biāo)一定是近似與真值的，只要接近到可實用的程度。但這只能通過將多于確定未知量所必要的觀測量進(jìn)行適當(dāng)組合來完成。這個問題只有當(dāng)軌道的大概知識已經(jīng)獲得的情況下才能處理，這個大概的知識之后將得到改正以便以盡可能最精確的方式滿足所有的觀測值。”從這段寫于150年前的話可以總