線性最小二線乘問題的存在與唯一

1、線性最小二線乘問題的存在與唯一,線性模型的正規(guī)方程,線性模型舉例,線性模型引深及推廣,線性最小二乘方法評注,正交多項式,問題的提出,,最佳平方逼近,實例講解,某種合成纖維的強度與其拉伸倍數有直接關系，下表是實際測定的24個纖維樣品的強度與相應拉伸倍數的記錄。提示：將拉伸倍數作為x, 強度作為y,在座標紙上標出各點，可以發(fā)現什么?,數據表格,,,,從上圖中可以看出強度與拉伸倍數大致成線形關系，可用一條直線來表示兩者之間的關系。解：

2、設 y*=a+bxi ，令δ=yi-y*i=yi-a-bxi，根據最小二乘原理，即使誤差的平方和達到最小，也就是令 n Q=∑δi2 i=1為最小 ，即求使 (a,b)=有最小值的a和b的值。,計算出它的正規(guī)方程得解得： a=0.15 ,

3、b=0.859 直線方程為：y*=0.15+0.859x,一 問題的提出 插值法是使用插值多項式來逼近未知或復雜函數的，它 要求插值函數與被插函數在插值節(jié)點上函數值相同 ，而在其他點上沒有要求。在非插值節(jié)點上有時函數值會相差很大 。若要求在被插函數的定義區(qū)間上，所選近似函數都能與被插函數有較好的近似，就是最佳逼近問題。最佳逼近是在函數空間 M中選 P(x) 滿足 但

4、由于絕對值函數不宜進行分析運算,常將上式化為來討論 ，于是最佳逼近問題變?yōu)樽罴哑椒奖平鼏栴} ,而離散的最佳平方逼進問題就是常說的曲線擬合它們都可用最小二乘法求解。,,主頁,曲線擬合的最小二乘法,最小二乘原理 當由實驗提供了大量數據時,不能要求擬合函數 在數據點 處的偏差,即

5、 (i=1,2,…,m) 嚴格為零,但為了使近似曲線盡量反映所給數據點的變化趨勢 ,需對偏差有所要求.通常要求偏差平方和 最小,此即稱為最小二乘原理,?最小二乘法的求法,,?最小二乘法的幾種特例,例 題,二 線性最小問題的存在與唯一,在科學實驗中，很多情況數據間存在線性或可轉化為線性的關系。線性最小二乘是最基本也是最重要的一種。1 線性最小二乘問題與線性最小二乘求解

6、 設Ax=b 其中 A?R m?n，b?R m，x ? R n當m?n 時，上方程超定方程組 令 r =b-Ax ， 一般，超定方程無通常意義下解，既無x使 t=0。對這類方程求解意義是求x，使 ? ? r? ?22 = ? ? b-Ax ? ? 22為最小，稱x為Ax=b的最小二乘解。,主頁

7、,,2 最小二乘解的存在性與唯一性 定理 ：x* 為Ax=b 的最小二乘解充要條件 AT A X * =AT b 證明 ：充分性：若存在X* ，使 AT A X * =AT b 則對任意向量 令 x?=x* +y 有 ?? b– Ax ?? 22 = ?? b –AX*?? 22–2（y，AT（ b –AX*））+ ?? A y ?? 22 = ?? b –AX*?

8、? 22 + ?? A y ?? 22 ? ?? b –AX*?? 22 ?X*為Ax=b的最小二乘解。 必要性： 令 ?? b –AX?? 22=?（x1，x2，?，x n）= ?（x） 則由多元函數極值的必要條件知，若X*為極值點， 則 ? ?（x） | —— | =0

9、 ? x i |x=x*,,,而?（x1，x2，?，x n）=b T b – 2Ax+（Ax）TAx ? ?（x） 由 —— =0 （i=1，2， ? n） ATAx=ATb。 ? x i ?若x*為Ax=b最小二乘解，則AT A x *=ATb。證畢 AT A x =AT b 稱為最小二乘問題的 Ax=b法方

10、程組。當A =（aIj）m?n 的秩為n ，既A的列線性無關時， AT A x =AT b有唯一解。,,,三 線形模型的正規(guī)方程,關于擬和模型必須能反映離散點分布基本特征。常選取?是線性擬和模型，既?所屬函數類為M =Span{? 0，?1，… ?n}，其中 ? 0，?1，… ?n 是線性無關的基函數

11、 m于是 ?（x）= ?c j ?j（x） j=0通常選取每個?j是次數?j的簡單多項式，即M 是次數 ? n 的n次多項式空間。取 ?j（x）=x j ， j=0，1，…，n M =Span{1 ,x , x2，…，x n}，從而?（x）= C0 +C1 x1 + …+ C n x

12、 n =Pn(x),主頁,,n 設離散數據模型 ?（x）= ?c j ?j（x） j=0則求解歸結為 n+1元函數S的 極值問題: m n S（c0，c1，…，c n）= ? ?i [ y i &

13、#175;? c j ?j（xi）] 2 i=0 j=0顯然S達最小值必要條件是 ? S m n — =2 ? ?i [ y i¯ ? c j ?j（xi）] ? k（x i）= 0 ? C k

14、 i=0 j=0 （k=0 ，1，…，n）這是關于 c0，c1，…，c n 的方程組， n改寫成 ? （?j ，? k) c j =(y, ? k ) (k=0,1,2,…n)稱為正規(guī)方程組 j=0其中 m n（?j ，? k )= ? ? ?i ?j（xi

15、） ? k（x i） i=0 j=0,,,一般，n < m，函數 ? 0，?1，…，?n，線性無關能保證正規(guī)方程組的系數矩陣 ? （? 0，? 0 ）（?1，? 0 ）…， （?n ， ? 0 ） ? G=? … … …，

16、 … ? (**) ?（ ? 0， ?n ） （?1， ?n ） …， （ ?n ， ?n ） ? 的行列式不為零。因此正規(guī)方程組有唯一解。設其解為 c j =c j *，j=0，1，…，n則所要求的離散點的擬合函數(最佳平方逼近)為 n

17、 ?*（x）= ? c j *?j（x）。 J=0對已知連續(xù)函數f(x)的最佳平方逼近問題與離散點的最佳平方逼近有相同形式的正規(guī)方程組和結論,只不過內積公式變?yōu)?,,表中提供離散數據（x i ， y i），（0?i?4） 試用二次多項式進行擬合. i xi

18、 yi ?*（xi） yi - ?*（xi） 0 0 1.0000 1.0052 -0.0052 1 0.25 1.2840 1.2740 0.0100 2 0.50

19、 1.6487 1.6482 0.0005 3 0.75 2.1170 2.1279 -0.0109 4 1.00 2.7183 2.7130

20、 0.0053,四線形模型舉例,,,,,,,,,,,,,,主頁,,解:取 M=Span（1，x，x2 ） 其三個基函數為 ?j （x）=x j j=0, 1, 2 擬和函數? 是基函數的線性組合: ?（x）=c0+c1x+c2x2 取?0=?1=?=?4=1 ,由公式 5

21、 5（? j，?k）=? xi j+k， （y， ? k）=? y i x i k ， i=1 i=1 j，k=0，1，2

22、 可以算出（ ?0 ，?0 ）=5，（?1， ?1）=1.875，（ ?2 ，?2）=1.3828 （?0 ，?1）=（ ?1 ，?0）=2.5,（?0 ，?2）=（ ?2 ，?0）=1.875（?1 ，?2）=（ ?2 ，?1）=1.5625（y ， ?0）=8.7680，（y，?1）=5.4514，（y，?2）=4.4215,,,正規(guī)方程為?5C0+2.5C1+1.875C2

23、 =8.7680?2.5C0+1.875C1+1.5625C2 =5.4514?1.875C0+1.5625C1+1.3828C2=4.415解得 C0=1.0052，C1=0.8641，C2=0.8427所求連續(xù)模型 ?* 為， ?*（x）=1.0052+0.8641x+0.8437x2最小平方殘差 5 || y— ?*||22 =

24、 ?（ yi — ?*（x i))2 = 2.76?10-4 i=1,,,由上述我 們已經知到上述線性模型實際上是最小二乘法的推廣，實際上也就是多項式逼近函數的問題。它不僅可以解決一元問題還可用于多元問題。除此外還可求解某些非線性問題。求解方法是將其通過一定的代數變換轉換為可用線性模型求解的問題。比如對方程 y=a e b x 取對數，得l n y=l

25、 n a+b x，令 Y=lny, A= l n a, B=b 則問題轉化為解 Y=A+Bx的線性問題。類似的再如，對y=a+ b/ x擬和可對此方程取倒數，則新變量1/y于x成線性關系。,五線性模型引深及推廣,,主頁,六最小二乘法方法評注,最小二乘法方曲線擬和是實驗數據處理的常用方法。最佳平方逼近可以在一個區(qū)間上比較均勻的逼近函數且具有方法簡單易行，實效性大，應用廣泛等特點。但當正規(guī)方程階數較高時，往往出現病態(tài)。因此必須謹慎

26、對待和加以巧妙處理。有效方法之一是引入正交多項式以改善其病態(tài)性。。,主頁,,,正交多項式 在高等數學中介紹付立葉級數時，曾提到函數系 1,cosx,sinx,cos2x,sin2x,…cosnx,sinnx,…中，由于任意兩個函數乘積在區(qū)間[-?，+?]上的積分都等于零，則說這個函數系在[-?，+?]上是正交的，并稱這個函數系為正交函數系。下面給出正交函數系定義：設函

27、數f(x),g(x)?[a,b],且則稱f(x)與g(x)在[a,b]上帶權?(x)正交,,在[a,b]上連續(xù)的函數?0(x), ?1(x), ?2(x),... ?k(x)..., 滿足 則稱該函數系是在區(qū)間[a,b]上帶權?(x)正交函數系.下面介紹與上述定義有關的幾個概念，然后引出正交多項的概念，最后再介紹正交多項式的性質以及幾種常見的正交多項式。1.權函數:(1)設[a,b]是有限或無限區(qū)間, ?(x)是定

28、義在[a,b]上的非零可積函數，若其滿足則稱?(x)是[a,b]上的一個權函數。,2 內積與范數設f(x),g(x)?[a,b], ?(x)是[a,b]上的一個權函數，稱為f(x)與g(x)在為 [a,b]上以權函數?(x)的內積。顯然，對于任意實數a,b,有稱為f(x)的帶權?(x)的2—范數。,正交多項式的性質定理1 [a,b]上帶權?(x)的正交多項式系{gn(x)}一定是 [a,b]上線相關的函

29、數系。定理2 設是{gn(x)}[a,b]上帶權?(x)的正交多項式系，則對于任何次數不高于n-1的多項式q(x),總有 (q(x), gn(x))=0 ( n=1,2,…） 定理3 n次正交多項式gn(x)有n個互異定根，且全部若在(a,b)內。,定理4:任何相鄰的三個正交多項式,都具有下列遞推關系式 gn+1(x)

30、=(?nx-?n)gn(x)-?n-1gn-1(x),,,常見的正交多項式,勒讓德多項式(Legendre)切比雪夫多項式(Chebyshev)拉蓋爾多項式(Laguerre)埃爾米特多項式 (Hermite),,勒讓德多項式(Legendre)[-1,1] , ?(x)=1遞推關系:P0(x)=1, P1(x)=x,,,Tn(x)=cos(narccosx),切比雪夫多項式(Chebyshev),遞推關系:T0(