最小二乘法及其應用【文獻綜述】

1、畢業(yè)論文文獻綜述畢業(yè)論文文獻綜述信息與計算科學信息與計算科學最小二乘法及其應用最小二乘法及其應用計算方法是應用數(shù)學的重要專業(yè)基礎課，它討論的是如何運用現(xiàn)代計算工具高效求解科學與工程中的數(shù)值計算問題。今天，科學與實驗、理論分析一起成為當今科學活動的主要方式。在物理、化學、力學、材料科學、環(huán)境科學、信息科學和生物科學等領域，計算方法和技術已經(jīng)成為被廣泛接受的科學研究手段。現(xiàn)在，計算在科學研究和工程設計中幾乎無所不在，對科技的發(fā)展起到舉足輕重

2、的作用。[1]最小二乘法作為計算方法中一個重要的數(shù)學方法，得到了廣泛的研究與應用。發(fā)現(xiàn)最小二乘法的動因是天文學和測地學中處理數(shù)據(jù)的需要。陳希孺先生所著《數(shù)理統(tǒng)計學簡史》中記載了這樣一段歷史。在18世紀，天文學和測地學中的一些數(shù)據(jù)分析問題可以描述如下：有（m＋1）個可以測量的量x0，x1，…，xm，和m個未知的參數(shù)β1，β2，…，βm。按照某種理論，它們之間應有線性關系。⑴但是由于實際工作中對x0，x1，…，xm的測量存在誤差，而且⑴式只

3、是理論上的近似而非嚴格成立。也就是說，⑴式左邊的表達式實際上不等于0，其真實值與測量有關，可視為一種誤差。若進行了n次測量，在實際問題中，n總是大于甚至是遠遠大于m，目的是多提供一些信息，以便對參數(shù)β1，β2，…，βm作出較精確的估計。設在第i次測量中，x0，x1，…，xm分別取值x0i，x1i，…，xmi，則按照⑴式，應有（i=1，2，…，n）⑵若⑵式嚴格成立，則只要從上述n個方程中任意挑出m個就可以解出β1，β2，…，βm的值。但⑵

4、式并非嚴格成立，于是需要設計合適的算法來估計參數(shù)的值。1750年，天文學家梅耶發(fā)表了一種方法，他在研究海上航行船只的定位問題時，得到了一個包含3個未知參數(shù)的形如⑴式的關系式以及27組觀測數(shù)據(jù)。梅耶把這27個方程分成3組，然后把每組中的9個方程相加，共得到3個方程，這樣可以解出3的顯赫地位，主要得益于它與線性模型的聯(lián)系。勒讓德創(chuàng)設最小二乘法是為了解決形如⑴式的線性表達式（如今已發(fā)展為線性模型）的，由此導出的也是一個線性的方程組，這使得最小

5、二乘法具有計算簡便的特點。但更加重要的是，“線性”的特點使最小二乘法在誤差分析方面較之其他方法具有不可替代的優(yōu)勢。在1809年高斯對最小二乘估計進行的誤差分析中發(fā)現(xiàn)，在線性模型的所有無偏估計類中，最小二乘估計是唯一的方差最小的無偏估計；進入20世紀后，哥色特、費歇爾等人還發(fā)現(xiàn)，在正態(tài)誤差的假定下，最小二乘估計有較完善的小樣本理論，使基于它的統(tǒng)計推斷易于操作且有關的概率計算不難進行。與此同時，對最小二乘法誤差分析的研究也促進了線性模型理論

6、的發(fā)展。如今，線性模型已經(jīng)成為理論結果最豐富、應用最廣泛的一類回歸模型。[2]人們對由某一變量t或多個變量f1……fn構成的相關變量y感興趣。如彈簧的形變與所用的力相關，一個企業(yè)的盈利與其營業(yè)額，投資收益和原始資本有關。為了得到這些變量同y之間的關系，便用不相關變量去構建y。試用如下函數(shù)模型q個相關變量或p個附加的相關變量去擬和。通常人們將一個可能的、對不相關變量t的構成都無困難的函數(shù)類型充作函數(shù)模型（如拋物線函數(shù)或指數(shù)函數(shù)）。參數(shù)x是

7、為了使所選擇的函數(shù)模型同觀測值y相匹配。（如在測量彈簧形變時，必須將所用的力與彈簧的膨脹系數(shù)聯(lián)系起來）。其目標是合適地選擇參數(shù)，使函數(shù)模型最好的擬合觀測值。一般情況下，觀測值遠多于所選擇的參數(shù)。其次的問題是怎樣判斷不同擬合的質量。高斯和勒讓德的方法是，假設測量誤差的平均值為0。令每一個測量誤差對應一個變量并與其它測量誤差不相關（隨機無關）。[3]人們假設，在測量誤差中絕對不含系統(tǒng)誤差，它們應該是純偶然誤差，圍繞真值波動。除此之外，測量誤