統(tǒng)計推斷的基本問題

1、統(tǒng)計推斷的基本問題,? 估計問題(ch7),估計問題可分為參數(shù)估計與非參數(shù)估計。,本章只介紹關(guān)于總體參數(shù)的點估計與區(qū)間估計。,? 假設(shè)檢驗問題(ch8),第七章 參數(shù)估計,引言,我們已介紹了總體、樣本、簡單隨機(jī)樣本、統(tǒng)計量和抽樣分布的概念，介紹了統(tǒng)計中常用的三大分布，給出了幾個重要的抽樣分布定理. 它們是進(jìn)一步學(xué)習(xí)統(tǒng)計推斷的基礎(chǔ).,數(shù)理統(tǒng)計的基本任務(wù)就是依據(jù)樣本推斷總體特征.,刻畫總體X的某些特征的常數(shù)稱為參數(shù),其中最常

2、 用的參數(shù)是總體的數(shù)學(xué)期望和方差。例如,服從正態(tài)分 布的總體X就是由參數(shù)μ=E(X),σ2=D(X)確定的。,在實際問題中,常已知總體X的分布函數(shù)的形式,而 未知總體X的一個或多個參數(shù)。,根據(jù)樣本提供的信息對總體X的未知參數(shù)作出估計，這類問題稱為參數(shù)估計問題。,,,現(xiàn)在我們來介紹一類重要的統(tǒng)計推斷問題,參數(shù)估計問題是利用從總體抽樣得到的信息來估計總體的某些參數(shù)或者參數(shù)的某些函數(shù).,參數(shù)估計,估計廢品率,估計新生兒的平均體重,估計湖

3、中魚數(shù),… …,估計平均降雨量,在參數(shù)估計問題中，假定總體分布形式已知，未知的僅僅是一個或幾個參數(shù).,這類問題稱為參數(shù)估計.,參數(shù)估計問題的一般提法,X1,X2,…,Xn,（假定身高服從正態(tài)分布 ）,設(shè)這5個數(shù)是:,1.65 1.67 1.68 1.71 1.69,估計 為1.68，,這是點估計.,這是區(qū)間估計.,假如我們要估計某隊男生的平均身高.,現(xiàn)從該總體選取容量為5的樣

4、本，我們的任務(wù)是要根據(jù)選出的樣本（5個數(shù)）求出總體均值 的估計. 而全部信息就由這5個數(shù)組成 .,參數(shù)估計通常有兩種方法:點估計和區(qū)間估計。,一、點估計提法,點估計問題提法:設(shè)已知總體X的分布函數(shù)F(x;θ) 的形式,θ∈Θ(參數(shù)空間)為需要估計的參數(shù)。 是來自總體X的一個樣本, 是其樣本值.,根據(jù)待估參數(shù)的特征構(gòu)造一個適當(dāng)?shù)慕y(tǒng)計量,用其觀察值,來估計未知

5、參數(shù)θ.,——θ的估計量,——θ的估計值,例1 已知某地區(qū)新生嬰兒的體重X~,隨機(jī)抽查100個嬰兒,…,得100個體重數(shù)據(jù),10,7,6,6.5,5,5.2, …,而全部信息就由這100個數(shù)組成.,把樣本值代入T(X1,X2,…Xn) 中，得到,的一個點估計值 .,請注意，被估計的參數(shù) 是一個未知常數(shù)，而估計量 T(X1,X2,…Xn)是一個隨機(jī)變量，是樣本的函數(shù),當(dāng)樣本取定后，它是個已知的數(shù)值,這個數(shù)常稱為 的估

6、計值 .,我們知道,服從正態(tài)分布,,由大數(shù)定律,,自然想到把樣本體重的平均值作為總體平均體重的一個估計.,類似地，用樣本體重的方差 .,用樣本體重的均值,樣本體重的平均值,二、構(gòu)造估計量的兩種方法,1、矩估計法,其基本思想是用樣本矩估計總體矩 .,理論依據(jù):,或格列汶科定理,它是基于一種簡單的“替換”思想建立起來的一種估計方法 .,是英國統(tǒng)計學(xué)家K.皮爾遜最早提出的 .,大數(shù)定律,設(shè)已知總體X的可能分布函數(shù)族為:,理論

7、根據(jù):樣本矩(的連續(xù)函數(shù))依概率收斂于總 體矩(的連續(xù)函數(shù)).,其中 為待估參數(shù).,矩估計法:用樣本矩(函數(shù))來估計總體矩(函數(shù)).,設(shè)總體X的前k階矩,均存在,而樣本矩,其中,矩估計法就是: 令總體的前k階矩分別與樣本的 對應(yīng)階矩相等,即,可作為待估參數(shù) 的估計量(稱為矩估計 量),其觀察值為待估參數(shù)的估計值(稱為矩估計值).,這是含k個待估參數(shù) 的聯(lián)立方程組，其解

8、,解:,由矩法,,樣本矩,總體矩,從中解得,數(shù)學(xué)期望是一階原點矩,【例3】設(shè)總體X服從[a,b]上的均勻分布,求未知 參數(shù)a,b的矩估計量.,〖解〗兩個待估參數(shù)，連續(xù)型.,先求總體的一,二階(原點)矩.,因為X～U[a,b],所以,由,即,解得:,■,【例4】求正態(tài)總體N(μ,σ2)的兩個未知參數(shù) μ,σ2的矩估計量.,〖解〗兩個待估參數(shù)，連續(xù)型.,先求總體的一,二階(原點)矩.,因為X～N(μ,σ2),所以,由,.,即,解得μ

9、,σ2的矩估計量分別為:,■,樣本二階 中心矩，非修正樣本方差,,? 確定待估參數(shù)的個數(shù)k,求出總體的前k階矩;,求矩估計的步驟,? 解方程(組),? 寫出矩估計量和矩估計值.,因此,會求總體矩,記住樣本矩,就可求出待估參 數(shù)的矩估計量與矩估計值.,矩法的優(yōu)點是簡單易行,并不需要事先知道總體是什么分布 .,缺點是，當(dāng)總體類型已知時，沒有 充分利用分布提供的信息 . 一般場合下,矩估計量不具有唯一性 .,其主要原因在于

10、建立矩法方程時，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性 .,2. 極大似然法,是在總體類型已知條件下使用的一種參數(shù)估計方法 .,它首先是由德國數(shù)學(xué)家高斯在1821年提出的 ,,Gauss,Fisher,然而，這個方法常歸功于英國統(tǒng)計學(xué)家費歇 .,費歇在1922年重新發(fā)現(xiàn)了 這一方法，并首先研究了這 種方法的一些性質(zhì) .,極大似然法的基本思想,先看一個簡單例子：,一只野兔從前方竄過 .,是誰打中的呢？,某位

11、同學(xué)與一位獵人一起外出打獵 .,如果要你推測，,你會如何想呢?,只聽一聲槍響，野兔應(yīng)聲倒下 .,下面我們再看一個例子,進(jìn)一步體會極大似然法的基本思想 .,你就會想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率. 看來這一槍是獵人射中的 .,這個例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想 .,例4 設(shè)X~B(1,p), p未知.設(shè)想我們事先知道p只有兩種可能:,問:應(yīng)如何估計p?,p=0.7 或 p=0.3,如今重復(fù)

12、試驗3次,得結(jié)果: 0 , 0, 0,由概率論的知識, 3次試驗中出現(xiàn)“1”的次數(shù),k=0,1,2,3,將計算結(jié)果列表如下：,應(yīng)如何估計p?,p=0.7 或 p=0.3,k=0,1,2,3,p值P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.70.027 0.189 0.441 0.343 0.30.343 0.441 0.

13、189 0.027,出現(xiàn),估計,出現(xiàn),出現(xiàn),出現(xiàn),估計,估計,估計,0.343,0.441,0.441,0.343,如果有p1,p2,…,pm可供選擇, 又如何合理地選p呢?,從中選取使Qi 最大的pi 作為p的估計.,i=1,2,…,m,則估計參數(shù)p為,若重復(fù)進(jìn)行試驗n次,結(jié)果“1”出現(xiàn)k次(0 ≤ k≤ n),,如果只知道0<p<1, 并且實測記錄是 Y=k (0 ≤ k≤ n), 又應(yīng)如何估計p呢?

14、,注意到,是p的函數(shù),可用求導(dǎo)的方法找到使f (p)達(dá)到極大值的p .,但因f (p)與lnf (p)達(dá)到極大值的自變量相同,故問題可轉(zhuǎn)化為求lnf (p)的極大值點 .,=f (p),將ln f (p)對p求導(dǎo)并令其為0,,這時, 對一切0<p<1,均有,從中解得,=0,便得 p(n-k)=k(1-p),極大似然估計法的思想就是對固定的樣本值，選 擇待估參數(shù)的估計值使“樣本取樣本值”[離散型]或“樣 本取

15、值落在樣本值附近”[連續(xù)型] 的概率最大。,,河南理工大學(xué)精品課程 概率論與數(shù)理統(tǒng)計,? 單參數(shù)情形,下面分離散型與連續(xù)型總體來討論.,(2、極大似然估計的求法,設(shè)離散型總體X的分布律,形式已知,θ為待估參數(shù). 為來自總體X的 樣本, 為其樣本值,則 的聯(lián)合分

16、布律為:,根據(jù)總體分布律寫出似然函數(shù)：換x為xi,,河南理工大學(xué)精品課程 概率論與數(shù)理統(tǒng)計,這正是事件“樣本取得樣本值” 的概率,稱之為樣本的 似然函數(shù),它是待估參數(shù)θ的函數(shù).,極大似然估計法：對固定的樣本值,在參數(shù)空間中 選取使似然函數(shù)達(dá)到最大的參數(shù)值 作為參數(shù)θ的估 計值(稱為極大似然估計值),它為樣本

17、值的函數(shù),記為,相應(yīng)統(tǒng)計量,稱為參數(shù)θ的極大似然估計量.,,河南理工大學(xué)精品課程 概率論與數(shù)理統(tǒng)計,設(shè)連續(xù)型總體X的概率密度,事件“樣本取值落在樣本值的鄰域” 的概率近似為,形式已知,θ為待估參數(shù)。 來自總體X的樣 本, 為其樣本值，則 的聯(lián)合概 率密度為:

18、,,河南理工大學(xué)精品課程 概率論與數(shù)理統(tǒng)計,達(dá)到最大值,相應(yīng)的,極大似然估計法：對固定的樣本值,在參數(shù)空間中 選取使上述概率達(dá)到最大的參數(shù)值 作為參數(shù)θ的估 計值(稱為極大似然估計值)。由于因子,與θ無關(guān),故 也使樣本的似然函數(shù),稱為參數(shù)θ的極大似然估計量。,,河南理工大學(xué)精品課程

19、 概率論與數(shù)理統(tǒng)計,② 、在參數(shù)θ的變化范圍內(nèi)求似然函數(shù)的最大 值點,① 、依據(jù)總體X的分布律或概率密度寫出樣本的 似然函數(shù):,綜上可得,求極大似然估計的步驟,即為待估計參數(shù)的極大似然估計值;特別,當(dāng)總體分布 律或概率密度關(guān)于參數(shù)可導(dǎo)時,可通過解似然方程,,河南理工大學(xué)精品課程

20、 概率論與數(shù)理統(tǒng)計,③ 、必要時,參照極大似然估計值寫出極大似然 估計量.,或與之等價的,來得到待估參數(shù)θ的極大似然估計值(駐點);,兩點說明：,1、求似然函數(shù)L( ) 的最大值點，可以應(yīng)用微積分中的技巧。由于ln(x)是x的增函數(shù)，lnL( )與L( )在 的同一值處達(dá)到它的最大值，假定 是一實數(shù)，且lnL( )是

21、 的一個可微函數(shù)。通過求解所謂“似然方程”：,可以得到 的MLE .,若 是向量，上述方程必須用似然方程組代替 .,2、用上述求導(dǎo)方法求參數(shù)的MLE有時行不通，這時要用極大似然原則來求 .,兩點說明：,下面舉例說明如何求極大似然估計,L(p)= f (X1,X2,…Xn; p ),例5 設(shè)X1,X2,…Xn是取自總體 X~B(1, p) 的一個樣本，求參數(shù)p的極大似然估計.,解：似然函數(shù)為:,對數(shù)似然函數(shù)為：,對p求導(dǎo)并令

22、其為0，,=0,得,即為 p 的MLE .,解：似然函數(shù)為,對數(shù)似然函數(shù)為,例6 設(shè)X1,X2,…Xn是取自總體X的一個樣本,求 的極大似然估計.,其中 >0,,求導(dǎo)并令其為0,=0,從中解得,即為 的MLE .,對數(shù)似然函數(shù)為,,河南理工大學(xué)精品課程 概率論與數(shù)理統(tǒng)計,【例7】求正態(tài)總體N(μ,σ2

23、)的兩個未知參數(shù)μ, σ2的似然估計量.,〖解〗雙參數(shù)，連續(xù)型.,因為X~N(μ,σ2),所以X總體的概率密度為,設(shè) 為樣本 的一個樣本值, 則似然函數(shù)為:,,河南理工大學(xué)精品課程 概率論與數(shù)理統(tǒng)計,從而,取對數(shù)得:,由似然方程組,視σ2為整體,,河南理工大學(xué)精品課程

24、 概率論與數(shù)理統(tǒng)計,解得μ,σ2的極大似然估計值為:,從而μ,σ2的極大似然估計量為:,■,,河南理工大學(xué)精品課程 概率論與數(shù)理統(tǒng)計,【例8】設(shè)總體X服從[a,b]上的均勻分布,求未知 參數(shù)a,b的極大似然

25、估計量.,〖解〗雙參數(shù)，連續(xù)型.,因為 所以X的概率密度為,設(shè) 為樣本 的一個樣本值,記,,河南理工大學(xué)精品課程 概率論與數(shù)理統(tǒng)計,由于,所以,似然函數(shù)為,對于滿足 的任意a,b有,,河南理工大學(xué)精品課程

26、 概率論與數(shù)理統(tǒng)計,即,故a,b的極大似然估計值為:,故a,b的極大似然估計量為:,■,? 本例直接利用極大似然思想方法來求似然估計.,解：似然函數(shù)為,i=1,2,…,n,對數(shù)似然函數(shù)為,解：似然函數(shù)為,i=1,2,…,n,=0 (2),由(1)得,=0 (1),對 分別求偏導(dǎo)并令其為

27、0,,對數(shù)似然函數(shù)為,是,對,故使 達(dá)到最大的 即 的MLE，,于是,取其它值時，,即 為 的MLE .,且是 的增函數(shù),由于,極大似然估計的一個性質(zhì),可證明極大似然估計具有下述性質(zhì)：,設(shè) 的函數(shù)g=g( )是 上的實值函數(shù),且有唯一反函數(shù) . 如果 是 的MLE，則g( )也是g( )的極大似然估計.,例8 一罐中裝有白球

28、和黑球，有放回地抽取一個容量為n的樣本，其中有 k 個白球，求罐中黑球與白球之比 R 的極大似然估計.,,解: 設(shè)X1,X2,…,Xn為所取樣本，,則X1,X2,…,Xn是取自B(1,p)的樣本，p是每次抽取時取到白球的概率，p未知 .,先求p的MLE：,p的MLE為,,在前面例4中,我們已求得,由前述極大似然估計的性質(zhì)不難求得,的MLE是,第二次捕出的有記號的魚數(shù)X是r.v, X具有超幾何分布：,為了估計湖中的魚數(shù)N，第一次捕上

29、r條魚，做上記號后放回. 隔一段時間后, 再捕出S條魚, 結(jié)果發(fā)現(xiàn)這S條魚中有k條標(biāo)有記號.根據(jù)這個信息，如何估計湖中的魚數(shù)呢？,最后，我們用極大似然法估計湖中的魚數(shù),應(yīng)取使L(N;k)達(dá)到最大的N，作為N的極大似然估計. 但用對N求導(dǎo)的方法相當(dāng)困難, 我們考慮比值：,把上式右端看作N的函數(shù)，記作L(N;k) .,經(jīng)過簡單的計算知，這個比值大于或小于1，,經(jīng)過簡單的計算知，這個比值大于或小于1，,這就是說，當(dāng)N增大時