概率論與數(shù)理統(tǒng)計第七章{參數(shù)估計}第一節(jié)點估計

1、第七章 參數(shù)估計,第一節(jié) 點估計,第二節(jié) 估計量的評選標準,第三節(jié) 區(qū)間估計,第四節(jié) 正態(tài)總體參數(shù)的區(qū)間估計,*第五節(jié) 非正態(tài)總體參數(shù)的區(qū)間估計舉例,*第六節(jié) 單側(cè)置信區(qū)間,第一節(jié) 點估計,點估計概念求估計量的方法,總體,樣本,統(tǒng)計量,,,描述,,作出推斷,,隨機抽樣,現(xiàn)在介紹一類重要的統(tǒng)計推斷問題.,參數(shù)估計問題是利用從總體抽樣得到的信息來估計總體的某些參數(shù)或者參數(shù)的某些函數(shù). 例如：,參數(shù)估計,估計廢品率:,估計新生兒的體重:,

2、估計湖中魚數(shù):,…,估計降雨量:,在參數(shù)估計問題中,假定總體分布形式已知,未知的僅僅是一個或幾個參數(shù).,這類問題稱為參數(shù)估計.,參數(shù)估計問題的一般提法,依據(jù)該樣本對參數(shù)θ 作出估計, 或估計θ 的某個已知函數(shù) g(θ).,現(xiàn)從該總體抽樣, 得樣本 X1, X2, …, Xn,,設(shè)有一個統(tǒng)計總體, 總體的分布函數(shù)為 F(x, θ),其中θ為未知參數(shù) (θ可以是向量) .,參數(shù)估計,點估計,區(qū)間估計,(假定身高服從正態(tài)分布 N(μ, 0

3、.12)),設(shè)這5個數(shù)是: 1.65 1.67 1.68 1.78 1.69,估計 μ為1.68, 這是點估計.,估計 μ在區(qū)間 [1.57, 1.84] 內(nèi), 這是區(qū)間估計.,例如: 我們要估計某隊男生的平均身高.,現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本(5個數(shù))求出總體均值 μ的估計. 而全部信息就由這5個數(shù)組成 .,隨機抽查100個嬰兒, 得100個體重數(shù)據(jù):,…,10, 7, 6, 6.5

4、, 5, 5.2, …,據(jù)此,我們應(yīng)如何估計 μ和 σ呢？,而全部信息就由這100個數(shù)組成 .,例如: 已知某地區(qū)新生嬰兒的體重 N(μ, σ2), (μ, σ 未知).,我們知道,若 N(μ, σ2),由大數(shù)定律:,自然想到把樣本體重的平均值作為總體平均體重的一個估計.,樣本體重的平均值,用樣本體重的均值,類似地,用樣本體重的方差,為估計μ:,為估計σ2:,為估計總體分布的參數(shù)(如 μ和 σ2等),我們需要構(gòu)造出適當?shù)臉颖镜暮瘮?shù) f(

5、X1, X2, … Xn),稱為參數(shù)的點估計值(estimate).,稱為參數(shù)(一般用θ)的點估計量(estimator),,一、點估計概念(Point Estimation),每當有了樣本, 代入該函數(shù)中算出一個值, 用來作為參數(shù)的估計值.,例1:,設(shè)從某燈泡廠某天生產(chǎn)的一大批燈泡中隨機地抽取了10只燈泡, 測得其壽命為(單位:小時):,1050, 1100, 1080, 1120, 12001250, 1040, 1130,

6、1300, 1200,試估計該廠這天生產(chǎn)的燈泡的平均壽命及壽命分布的標準差.,解:,二、求估計量的方法,a. 矩估計法(the method of moments),b. 極大似然法(the method of maximum likelihood),c. 貝葉斯方法(the method of Bayes),……,依概率收斂定義,定義:,注意:,如,意思是：,,,a,,,,,,,,,,,,,,,,時,,內(nèi)的概率越來越大.,Xn落在,當

7、,1. 矩估計法,矩估計法是英國統(tǒng)計學家K.皮爾遜最早提出來的 .,由大數(shù)定律, 若總體 X 的數(shù)學期望 E(X)= μ 有限, 則有:,這表明, 當樣本容量很大時, 在統(tǒng)計上, 可以用樣本k階原點矩去估計總體k階原點矩(替換原理).這一事實是矩估計法的理論基礎(chǔ).,,1)定義: 用樣本原點矩估計相應(yīng)的總體原點矩 ,,又用樣本原點矩的連續(xù)函數(shù)估計相應(yīng)的總體原點矩的連續(xù)函數(shù),,這種參數(shù)點估計法稱為矩估計法 .,例2: 設(shè)總體 X 在 [

8、a, b] 上服從均勻分布, a, b未知.,解:,X1, X2, …, Xn 是來自 X 的樣本, 試求 a, b的矩估計量 .,即:,解得:,總體矩,于是 a , b 的矩估計量為:,樣本矩,一般都是這 k 個參數(shù)的函數(shù),記為:,從這 k 個方程中解出:,j=1,2,…,k,那么用諸 μi 的估計量 Ai 分別代替上式中的諸μi,,即可得諸 θj 的矩估計量 ：,矩估計量的觀察值稱為矩估計值 .,2) 矩估計法的具體做法如下:,設(shè)總

9、體的分布函數(shù)中含有 k個未知參數(shù): θ1, θ2, …, θk,,那么它的前 k 階矩: μ1, μ2, …, μk,,μi=μi(θ1, θ2, …, θk), i=1, 2, …, k,θj= θj(μ1, μ2, …, μk), j=1, 2, …, k,I. 參數(shù)用總體矩來表示,II. 樣本矩代替總體矩,得:,于是 μ, σ2 的矩估計量為:,總體矩,例3: 設(shè)總體 X 的均值 μ和方差 σ2都存在, μ, σ2未知.,X1

10、, X2, …, Xn 是來自 X 的樣本, 試求 μ, σ2 的矩估計量 .,解:,樣本矩,矩法的優(yōu)點: 簡單易行, 并不需要事先知道總體是什么分布 .,缺點: 當總體類型已知時, 沒有充分利用分布提供的信息 .,2. 極(最)大似然估計法,它是在總體類型已知條件下使用的一種參數(shù)估計方法 .,它首先是由德國數(shù)學家高斯在1821年提出的 .,Gauss,Fisher,然而, 這個方法常歸功于英國統(tǒng)計學家費歇 .,費歇在1922年重新發(fā)現(xiàn)

11、了該方法, 并首先研究了該方法的一些性質(zhì) .,先看一個簡單例子：,一只野兔從前方竄過, 只聽一聲槍響, 野兔應(yīng)聲倒下.,某位同學與一位獵人一起外出打獵 .,如果要你推測, 是誰打中的呢? 你會如何想呢?,你就會想, 獵人命中的概率一般大于這位同學命中的概率. 看來這一槍是獵人射中的 .,這個例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想 .,再如, 一袋中有紅、白球10個和5個, 但不知其中每種顏色的球具體為多少.今從袋中任取一球,

12、結(jié)果為白球, 由此我們有理由認為袋中有10個白球, 5個紅球。,1) 似然函數(shù)(likelihood function)：,定義似然函數(shù)為:,設(shè) X1, X2, …, Xn 是取自總體X 的一個樣本, 樣本的聯(lián)合密度(連續(xù)型) 或聯(lián)合分布律 (離散型)為:,這里 x1, x2 ,…, xn 是樣本的觀察值.,L(θ)看作參數(shù) θ的函數(shù), 它可作為 θ將以多大可能產(chǎn)生樣本值 x1, x2, … , xn 的一種度量 .,f(x1,

13、x2, … , xn;θ),,2) 極大似然估計法: 就是用使 L(θ) 達到最大值的 去估計θ,,稱 為 θ 的極大似然估計值.,相應(yīng)的統(tǒng)計量:,稱為 θ的極大似然估計量.(maximum likelihood estimator),兩點說明：,a. 求似然函數(shù) L(θ) 的最大值點, 可以應(yīng)用微積分中的技巧. ln L(θ) 與 L(θ) 在 θ的同一值處達到它的最大值, 假定 θ是一實數(shù), 且

14、ln L(θ) 是 θ的一個可微函數(shù), 通過求解方程:,可以得到 θ的 MLE .,若 θ是向量, 上述方程必須用方程組代替.,b. 用上述求導方法求參數(shù)的 MLE 有時行不通, 這時要用極大似然原則來求 .,L(p) = f (x1, x2,…, xn; p),例4: 設(shè)X1, X2, …, Xn是取自總體 X~B(1, p) 的一個樣本, 求參數(shù) p的極大似然估計量.,解: 似然函數(shù)為:,對數(shù)似然

15、函數(shù)為：,對 p求導并令其為0:,得:,, 即為 p 的極大似然估計值.,從而 p 的極大似然估計量為:,d. 在極大值點的表達式中, 用樣本值代入就得參數(shù)的極大似然估計值 .,3) 求極大似然估計(MLE)的一般步驟是：,a. 由總體分布導出樣本的聯(lián)合分布律(或聯(lián)合密度);,b. 把樣本聯(lián)合分布律(或聯(lián)合密度) 中自變量看成已知常數(shù), 而把參數(shù) θ看作自變量, 得到似然函數(shù) L(θ);,c. 求似然函數(shù) L(θ) 的

16、極大值點 (常常轉(zhuǎn)化為求 ln L(θ) 的極大值點), 即 θ的MLE;,例5: 設(shè)總體 X~N(μ, σ2), μ, σ2 未知. x1, x2, …, xn 是來自 X 的樣本值, 試求 μ, σ2的極大似然估計量 .,似然函數(shù)為:,解:,X的概率密度為 :,于是:,解得:,μ, σ2的極大似然估計量為:,令:,解: 似然函數(shù)為:,*例6: 設(shè)X1, X2, …, Xn是取自總體X的一個樣本,,

17、其中 θ>0, 求 θ, μ的極大似然估計.,i=1,2,…,n,=0 (2),由(1)得:,=0 (1),對 θ, μ 分別求偏導并令其為0:,對數(shù)似然函數(shù)為:,對,故使 L(θ, μ) 達到最大的 μ, 即 μ的MLE是：,于是:,μ 取其它值時，,即 為 的MLE.,且是 μ的單增函數(shù),作業(yè),習題7-1 3; 4; 5;