[學習]概率論與數理統(tǒng)計王明慈第二版第6章參數點估計1節(jié)

1、第5章數理統(tǒng)計的基本知識,,基本概念,,總體X,樣本(X1, X2,…, Xn),統(tǒng)計量,三大抽樣分布,,正態(tài)總體X下統(tǒng)計量的分布,? 分位點,,,,第六章 參數估計,基本內容：,一、參數的點估計: 1. 矩估計法 2. 最大似然估計法,二、判別估計量好壞的標準: 無偏性；有效性；一致性,三、正態(tài)總體參數的區(qū)間估計.,第一節(jié) 參數的點估計,一、參數點估計的概念,二、矩估計法,三、最大似然

2、估計法,基本內容：,但參數 是未知的.,,事實上，我們常遇到這樣的實際問題——,,從總體X中抽取一個樣本,相應的,一、參數點估計的概念,總體X的分布的形式為已知，,然后用觀測值去估計,解決思路：,一個觀測值為,已知某種元件的壽命 ，即,的概率密度函數,,,的形式已知, 但 未知 .,,例如,1050, 1100, 1080, 1200,1300,1250,1340

3、,1060,1150,1150.,現用抽取的觀測值,則稱統(tǒng)計量,參數 的點估計的思路,估計, 即令,的點估計值 .,構造一個合適的統(tǒng)計量,作為參數,為,點估計量;,的觀測值,稱為,點估計的定義：,設總體X的分布中含有未知參數,從總體X中,抽取樣本 X1, X2, … , Xn,,注：,,矩估計法是由英國統(tǒng)計學家,其基本思想: 是用樣本矩估計 (或代替)總體矩.,皮爾遜(K. Pearson)在1900年提出.,或令,二、矩估計法,即令

4、,（其中k=1, 2, ……）,設總體X服從區(qū)間,試求未知參數 的矩估計量和矩估計值.,解:,其觀測值為 .,即,解方程①得 的矩估計量為,例1.,上的均勻分布,,易求得,………①,令,而矩估計值為,求總體 的均值 和方差 的矩估計量.,解:,設 是總體 的一個樣本，,經計算得,故令,解得,例2.,令,…………①,…………②

5、,解方程組得,,一般地,,注: 總體均值與方差的矩估計量不因總體分布的不同而異.,,假定總體X的1～m 階原點矩,存在，,第二步：用樣本矩代替總體矩，即令,矩估計法步驟：,設總體X的分布中含有m個待估的未知參數,則,第一步:求總體X的k階原點矩,,解含m個參數 的m個方程組,,得,以 作為參數 的估計量.,第三步:,第四步:,矩估計法的優(yōu)缺點:,直觀、簡單;,2.缺點:,只須知道總體矩,無須知道總體的分布形式.,沒

6、有充分利用總體分布提供的信息；,可能估計結果的精度比其它估計法的低.,矩估計量不具有唯一性；,1.優(yōu)點:,最大似然估計作為一種點估計方法最初是由,德國數學家高斯(Gauss)于1821年提出;,學家費歇爾(R.A.Fisher)在1912年作了進一步發(fā)展,使之成為數理統(tǒng)計中最重要應用最廣泛的方法之一.,Gauss,Fisher,三、最大似然估計法,英國統(tǒng)計,其中 是未知參數.,則稱 為似然函數.,設總體X的概率函數為

7、,或概率密度為 ,,的聯合概率函數或,,1.似然函數,則樣本,聯合概率密度函數為,或,最大似然原理的直觀想法：在試驗中概率,最大的事件最有可能出現.一個試驗如有若干個,可能結果 ,若在一次試驗中,結果 出現,,則認為 出現的概率最大.,2.最大似然估計法 MLE (Maximum Likelihood Estimate),也就是說, 在一次抽樣中得到觀測值(x1,…,xn

8、),則認為觀測值(x1,…,xn)出現的概率最大.,,,,若在一次試驗中得到的觀察值 ，,則該觀測值出現的概率應最大，,使似然函數 達到最大.,是樣本的觀測值,,設總體X的概率函數為,以離散型總體X為例,則其出現的概率,所以適當選取,,最大似然估計量,定義.,由于,與 有相同的最大值點 .因此， 為,最大似然估計的必要條件為,,稱它為似然方程, 其中,如何求

9、似然函數的最大值？,似然函數：,最大似然估計(MLE)的步驟:,第一步:,第二步:,第三步:,第四步:,設總體 服從泊松分布 ,其中 為未知,參數，試求參數 的最大似然估計值 .,設樣本 的一個觀測值為,解:,,由于總體 ,故有,似然函數為,例3.,取對數,,即,所以 的最大似然估計值為 .,

10、隨機變量X表示,例4. 從一批產品中放回抽樣依次抽取60件樣品,,發(fā)現其中有3件次品，用最大似然估計法估計,這批產品的次品率.,解：,設這批產品的次品率為p，,任一次抽樣時取得次品的件數,,則 X~B(1, p).,則概率函數為,所以似然函數為,取對數，得,即,解得p的最大似然估計值為,似然方程,解:,似然函數,例5.,取對數,求導,似然方程,與相應的矩估計量相同.(P151),解:,例6.,總體X的概率密度函數為,分析,20 取對

11、數求導,3.最大似然估計的性質——不變性,內容小結,1. 理解參數的點估計的概念；,2. 掌握矩估計法和最大似然估計法；,熟練掌握常見分布的矩估計和最大似然估計，,如泊松分布、均勻分布、指數分布及正態(tài)分布,中參數的矩估計和最大似然估計.,習題六(P180): 1、2,作業(yè),備用題,(1)求 ? =1 時, 未知參數 ? 的矩估計量.,其中參數 ? > 0, ? > 1,,1. 設 X 的分布函數為,X1, X2,…, Xn

12、是總體 的樣本,,解:,當 ? =1時, X 的概率密度為,令樣本均值代替總體均值,解得,∴ ? 的矩估計量為,,,即,解 (2) ? =2 時,,由于L(?)關于? 的單調增函數,,且注意到? 須滿足,故? 的極大似然估計量為,(2) 求 ? =2 時, 未知參數 ? 的極大似然估計量.,作似然函數,? <x i, i=1,2,…, n,,2.設總體X的概率密度為,X1, X2,…, Xn 是取自總體X 的簡單隨機樣本,,

13、解：,令,即,得矩估計量,(2) 由于,3. 設某種電子元件的壽命T服從指數分布,今測得10個元件的失效時間為1050, 1100, 1080,,1200,1300,1250,1340,1060,1150,1150.,解：,指數分布的概率密度為,試求?的最大似然估計值.,作似然函數,= 0 ,,解得?的最大似然估計值：,取對數似然函數：,令,由抽樣數據易得樣本均值的觀測值為,(2) 參數?的最大似然估計值；,4. 設總體X服從拉普拉斯