概率論與數(shù)理統(tǒng)計(jì)第七章{參數(shù)估計(jì)}第一節(jié)點(diǎn)估計(jì)

1、第七章 參數(shù)估計(jì),第一節(jié) 點(diǎn)估計(jì),第二節(jié) 估計(jì)量的評(píng)選標(biāo)準(zhǔn),第三節(jié) 區(qū)間估計(jì),第四節(jié) 正態(tài)總體參數(shù)的區(qū)間估計(jì),*第五節(jié) 非正態(tài)總體參數(shù)的區(qū)間估計(jì)舉例,*第六節(jié) 單側(cè)置信區(qū)間,第一節(jié) 點(diǎn)估計(jì),點(diǎn)估計(jì)概念求估計(jì)量的方法,總體,樣本,統(tǒng)計(jì)量,,,描述,,作出推斷,,隨機(jī)抽樣,現(xiàn)在介紹一類重要的統(tǒng)計(jì)推斷問題.,參數(shù)估計(jì)問題是利用從總體抽樣得到的信息來估計(jì)總體的某些參數(shù)或者參數(shù)的某些函數(shù). 例如：,參數(shù)估計(jì),估計(jì)廢品率:,估計(jì)新生兒的體重:,

2、估計(jì)湖中魚數(shù):,…,估計(jì)降雨量:,在參數(shù)估計(jì)問題中,假定總體分布形式已知,未知的僅僅是一個(gè)或幾個(gè)參數(shù).,這類問題稱為參數(shù)估計(jì).,參數(shù)估計(jì)問題的一般提法,依據(jù)該樣本對(duì)參數(shù)θ 作出估計(jì), 或估計(jì)θ 的某個(gè)已知函數(shù) g(θ).,現(xiàn)從該總體抽樣, 得樣本 X1, X2, …, Xn,,設(shè)有一個(gè)統(tǒng)計(jì)總體, 總體的分布函數(shù)為 F(x, θ),其中θ為未知參數(shù) (θ可以是向量) .,參數(shù)估計(jì),點(diǎn)估計(jì),區(qū)間估計(jì),(假定身高服從正態(tài)分布 N(μ, 0

3、.12)),設(shè)這5個(gè)數(shù)是: 1.65 1.67 1.68 1.78 1.69,估計(jì) μ為1.68, 這是點(diǎn)估計(jì).,估計(jì) μ在區(qū)間 [1.57, 1.84] 內(nèi), 這是區(qū)間估計(jì).,例如: 我們要估計(jì)某隊(duì)男生的平均身高.,現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本(5個(gè)數(shù))求出總體均值 μ的估計(jì). 而全部信息就由這5個(gè)數(shù)組成 .,隨機(jī)抽查100個(gè)嬰兒, 得100個(gè)體重?cái)?shù)據(jù):,…,10, 7, 6, 6.5

4、, 5, 5.2, …,據(jù)此,我們應(yīng)如何估計(jì) μ和 σ呢？,而全部信息就由這100個(gè)數(shù)組成 .,例如: 已知某地區(qū)新生嬰兒的體重 N(μ, σ2), (μ, σ 未知).,我們知道,若 N(μ, σ2),由大數(shù)定律:,自然想到把樣本體重的平均值作為總體平均體重的一個(gè)估計(jì).,樣本體重的平均值,用樣本體重的均值,類似地,用樣本體重的方差,為估計(jì)μ:,為估計(jì)σ2:,為估計(jì)總體分布的參數(shù)(如 μ和 σ2等),我們需要構(gòu)造出適當(dāng)?shù)臉颖镜暮瘮?shù) f(

5、X1, X2, … Xn),稱為參數(shù)的點(diǎn)估計(jì)值(estimate).,稱為參數(shù)(一般用θ)的點(diǎn)估計(jì)量(estimator),,一、點(diǎn)估計(jì)概念(Point Estimation),每當(dāng)有了樣本, 代入該函數(shù)中算出一個(gè)值, 用來作為參數(shù)的估計(jì)值.,例1:,設(shè)從某燈泡廠某天生產(chǎn)的一大批燈泡中隨機(jī)地抽取了10只燈泡, 測得其壽命為(單位:小時(shí)):,1050, 1100, 1080, 1120, 12001250, 1040, 1130,

6、1300, 1200,試估計(jì)該廠這天生產(chǎn)的燈泡的平均壽命及壽命分布的標(biāo)準(zhǔn)差.,解:,二、求估計(jì)量的方法,a. 矩估計(jì)法(the method of moments),b. 極大似然法(the method of maximum likelihood),c. 貝葉斯方法(the method of Bayes),……,依概率收斂定義,定義:,注意:,如,意思是：,,,a,,,,,,,,,,,,,,,,時(shí),,內(nèi)的概率越來越大.,Xn落在,當(dāng)

7、,1. 矩估計(jì)法,矩估計(jì)法是英國統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出來的 .,由大數(shù)定律, 若總體 X 的數(shù)學(xué)期望 E(X)= μ 有限, 則有:,這表明, 當(dāng)樣本容量很大時(shí), 在統(tǒng)計(jì)上, 可以用樣本k階原點(diǎn)矩去估計(jì)總體k階原點(diǎn)矩(替換原理).這一事實(shí)是矩估計(jì)法的理論基礎(chǔ).,,1)定義: 用樣本原點(diǎn)矩估計(jì)相應(yīng)的總體原點(diǎn)矩 ,,又用樣本原點(diǎn)矩的連續(xù)函數(shù)估計(jì)相應(yīng)的總體原點(diǎn)矩的連續(xù)函數(shù),,這種參數(shù)點(diǎn)估計(jì)法稱為矩估計(jì)法 .,例2: 設(shè)總體 X 在 [

8、a, b] 上服從均勻分布, a, b未知.,解:,X1, X2, …, Xn 是來自 X 的樣本, 試求 a, b的矩估計(jì)量 .,即:,解得:,總體矩,于是 a , b 的矩估計(jì)量為:,樣本矩,一般都是這 k 個(gè)參數(shù)的函數(shù),記為:,從這 k 個(gè)方程中解出:,j=1,2,…,k,那么用諸 μi 的估計(jì)量 Ai 分別代替上式中的諸μi,,即可得諸 θj 的矩估計(jì)量 ：,矩估計(jì)量的觀察值稱為矩估計(jì)值 .,2) 矩估計(jì)法的具體做法如下:,設(shè)總

9、體的分布函數(shù)中含有 k個(gè)未知參數(shù): θ1, θ2, …, θk,,那么它的前 k 階矩: μ1, μ2, …, μk,,μi=μi(θ1, θ2, …, θk), i=1, 2, …, k,θj= θj(μ1, μ2, …, μk), j=1, 2, …, k,I. 參數(shù)用總體矩來表示,II. 樣本矩代替總體矩,得:,于是 μ, σ2 的矩估計(jì)量為:,總體矩,例3: 設(shè)總體 X 的均值 μ和方差 σ2都存在, μ, σ2未知.,X1

10、, X2, …, Xn 是來自 X 的樣本, 試求 μ, σ2 的矩估計(jì)量 .,解:,樣本矩,矩法的優(yōu)點(diǎn): 簡單易行, 并不需要事先知道總體是什么分布 .,缺點(diǎn): 當(dāng)總體類型已知時(shí), 沒有充分利用分布提供的信息 .,2. 極(最)大似然估計(jì)法,它是在總體類型已知條件下使用的一種參數(shù)估計(jì)方法 .,它首先是由德國數(shù)學(xué)家高斯在1821年提出的 .,Gauss,Fisher,然而, 這個(gè)方法常歸功于英國統(tǒng)計(jì)學(xué)家費(fèi)歇 .,費(fèi)歇在1922年重新發(fā)現(xiàn)

11、了該方法, 并首先研究了該方法的一些性質(zhì) .,先看一個(gè)簡單例子：,一只野兔從前方竄過, 只聽一聲槍響, 野兔應(yīng)聲倒下.,某位同學(xué)與一位獵人一起外出打獵 .,如果要你推測, 是誰打中的呢? 你會(huì)如何想呢?,你就會(huì)想, 獵人命中的概率一般大于這位同學(xué)命中的概率. 看來這一槍是獵人射中的 .,這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想 .,再如, 一袋中有紅、白球10個(gè)和5個(gè), 但不知其中每種顏色的球具體為多少.今從袋中任取一球,

12、結(jié)果為白球, 由此我們有理由認(rèn)為袋中有10個(gè)白球, 5個(gè)紅球。,1) 似然函數(shù)(likelihood function)：,定義似然函數(shù)為:,設(shè) X1, X2, …, Xn 是取自總體X 的一個(gè)樣本, 樣本的聯(lián)合密度(連續(xù)型) 或聯(lián)合分布律 (離散型)為:,這里 x1, x2 ,…, xn 是樣本的觀察值.,L(θ)看作參數(shù) θ的函數(shù), 它可作為 θ將以多大可能產(chǎn)生樣本值 x1, x2, … , xn 的一種度量 .,f(x1,

13、x2, … , xn;θ),,2) 極大似然估計(jì)法: 就是用使 L(θ) 達(dá)到最大值的 去估計(jì)θ,,稱 為 θ 的極大似然估計(jì)值.,相應(yīng)的統(tǒng)計(jì)量:,稱為 θ的極大似然估計(jì)量.(maximum likelihood estimator),兩點(diǎn)說明：,a. 求似然函數(shù) L(θ) 的最大值點(diǎn), 可以應(yīng)用微積分中的技巧. ln L(θ) 與 L(θ) 在 θ的同一值處達(dá)到它的最大值, 假定 θ是一實(shí)數(shù), 且

14、ln L(θ) 是 θ的一個(gè)可微函數(shù), 通過求解方程:,可以得到 θ的 MLE .,若 θ是向量, 上述方程必須用方程組代替.,b. 用上述求導(dǎo)方法求參數(shù)的 MLE 有時(shí)行不通, 這時(shí)要用極大似然原則來求 .,L(p) = f (x1, x2,…, xn; p),例4: 設(shè)X1, X2, …, Xn是取自總體 X~B(1, p) 的一個(gè)樣本, 求參數(shù) p的極大似然估計(jì)量.,解: 似然函數(shù)為:,對(duì)數(shù)似然

15、函數(shù)為：,對(duì) p求導(dǎo)并令其為0:,得:,, 即為 p 的極大似然估計(jì)值.,從而 p 的極大似然估計(jì)量為:,d. 在極大值點(diǎn)的表達(dá)式中, 用樣本值代入就得參數(shù)的極大似然估計(jì)值 .,3) 求極大似然估計(jì)(MLE)的一般步驟是：,a. 由總體分布導(dǎo)出樣本的聯(lián)合分布律(或聯(lián)合密度);,b. 把樣本聯(lián)合分布律(或聯(lián)合密度) 中自變量看成已知常數(shù), 而把參數(shù) θ看作自變量, 得到似然函數(shù) L(θ);,c. 求似然函數(shù) L(θ) 的

16、極大值點(diǎn) (常常轉(zhuǎn)化為求 ln L(θ) 的極大值點(diǎn)), 即 θ的MLE;,例5: 設(shè)總體 X~N(μ, σ2), μ, σ2 未知. x1, x2, …, xn 是來自 X 的樣本值, 試求 μ, σ2的極大似然估計(jì)量 .,似然函數(shù)為:,解:,X的概率密度為 :,于是:,解得:,μ, σ2的極大似然估計(jì)量為:,令:,解: 似然函數(shù)為:,*例6: 設(shè)X1, X2, …, Xn是取自總體X的一個(gè)樣本,,

17、其中 θ>0, 求 θ, μ的極大似然估計(jì).,i=1,2,…,n,=0 (2),由(1)得:,=0 (1),對(duì) θ, μ 分別求偏導(dǎo)并令其為0:,對(duì)數(shù)似然函數(shù)為:,對(duì),故使 L(θ, μ) 達(dá)到最大的 μ, 即 μ的MLE是：,于是:,μ 取其它值時(shí)，,即 為 的MLE.,且是 μ的單增函數(shù),作業(yè),習(xí)題7-1 3; 4; 5;