十貝葉斯統(tǒng)計(jì)

1、第十二章貝葉斯統(tǒng)計(jì)1第十二章第十二章貝葉斯統(tǒng)計(jì)貝葉斯統(tǒng)計(jì)統(tǒng)計(jì)學(xué)中有兩個(gè)主要學(xué)派：頻率學(xué)派和貝葉斯學(xué)派。兩者間有著長期的爭(zhēng)論，這對(duì)統(tǒng)計(jì)學(xué)的發(fā)展起到了積極的促進(jìn)作用。本章主要討論貝葉斯統(tǒng)計(jì)的基本思想、理論進(jìn)展及應(yīng)用，以期對(duì)貝葉斯統(tǒng)計(jì)形成初步的認(rèn)識(shí)。12.1貝葉斯學(xué)派概述貝葉斯學(xué)派概述貝葉斯統(tǒng)計(jì)起源于英國學(xué)者貝葉斯的一篇論文“論有關(guān)機(jī)遇問題的求解”（1763年發(fā)表）。在這篇論文中，他提出了著名的貝葉斯公式。設(shè)參數(shù)已知時(shí)，樣本的分布密度?X為的

2、先驗(yàn)密度為，則已知樣本后，參數(shù)的后驗(yàn)密度為()fx??|()??X?()()()(12.1.1)()()fxhxfxd??????????|||貝葉斯公式、參數(shù)的后驗(yàn)密度公式（12.1.1）及貝葉斯假設(shè)構(gòu)成了貝葉斯統(tǒng)計(jì)的起點(diǎn)。?頻率學(xué)派進(jìn)行統(tǒng)計(jì)推斷時(shí)，依據(jù)兩種信息：一是總體信息，即統(tǒng)計(jì)總體服從何種概率分布，例如總體服從正態(tài)分布。另一是樣本信息，即從總體抽取的樣本給我們提供的信息。貝葉斯學(xué)派則除以上兩種信息之外，還必需利用先驗(yàn)信息，即在抽

3、樣（試驗(yàn)）之前有關(guān)總體分布的未知參數(shù)的信息。貝葉斯學(xué)派受到的批評(píng)集中于以下兩點(diǎn)：⑴將參數(shù)看成是隨機(jī)變量是否合適；⑵先?驗(yàn)分布是否存在，如何確定。貝葉斯統(tǒng)計(jì)在參數(shù)的點(diǎn)估計(jì)、區(qū)間估計(jì)及假設(shè)檢驗(yàn)方面形成了與頻率統(tǒng)計(jì)相平行的理論方法，并賦予統(tǒng)計(jì)推斷以新的解釋，它在可靠性方面有著成功的應(yīng)用。貝葉斯分析與統(tǒng)計(jì)決策論也是難以分開的，貝葉斯統(tǒng)計(jì)具有簡(jiǎn)潔實(shí)用的特點(diǎn)。貝葉斯方法的關(guān)鍵是先驗(yàn)分布的確定。由于現(xiàn)實(shí)世界中的事物的發(fā)生常不具備大量可重復(fù)性，事件發(fā)生

4、的概率較難具有頻率解釋，而又面臨解決問題，這就導(dǎo)致主觀概率、先驗(yàn)分布的提出，試圖通過科學(xué)的思維活動(dòng)來彌補(bǔ)經(jīng)驗(yàn)的不足，再利用樣本調(diào)整先驗(yàn)分布為后驗(yàn)分布，完成X()??()hx?|對(duì)參數(shù)認(rèn)識(shí)的再認(rèn)識(shí)。?例12.1.1一個(gè)人打靶，打了次，命中了次，估計(jì)此人打靶命中的概率。nr?一般的估計(jì)方法是：。當(dāng)時(shí)，；當(dāng)時(shí)，仍有。?rn??1nr???1??100nr???1??而實(shí)際上在這兩種情況下，反映出的此人的射擊水平是不一樣的。依貝葉斯方法，次獨(dú)n

5、立射擊，命中次的概率為r()(1)rnrnfrr????????????|當(dāng)對(duì)參數(shù)一無所知時(shí)，可設(shè)服從上的均勻分布，由（12.1.1）得??[01]第十二章貝葉斯統(tǒng)計(jì)31122()(1)????????即，服從貝塔分布，由此得的貝葉斯估計(jì)：。()??11()22???(0.5)(1)rn????12.2.3最大熵原則最大熵原則信源是信息的來源。對(duì)離散信源，設(shè)信源符號(hào)出現(xiàn)的概率為iXx?(12)ipin??，定義信源的期望信息量為信源的信

6、息熵()ln()iiHXpp???即熵是表征信源的不定程度的總體特性的。信息獲得的可能性較小，則一旦獲得信息，所得到的信息量也應(yīng)是較大的?？勺C明對(duì)離散型隨機(jī)變量，等概率狀態(tài)相應(yīng)的熵最大。對(duì)連續(xù)信源，可定義信源的信息熵為X()()ln()HXpxpxdx???可證明在上的均勻分布是熵最大的分布。從而例12.1.1中的最大熵先驗(yàn)分布為[]ab?[01]上的均勻分布。又設(shè)是上的隨機(jī)變量，假定它的一階矩為，二階中心矩為?()?????，則可推得

7、的最大熵分布為。2???2()N???12.2.4共軛分布共軛分布Raiffa和Schlaifer(1961)提出選擇自然共軛分布作為先驗(yàn)分布。定義：設(shè)樣本的分X布密度，若決定的后驗(yàn)密度:與是同一類型的，則稱先驗(yàn)分布()fx?|()??()hx?|()??為的共軛分布。()??()fx?|再看例12.1.1若選取為貝塔分布，則可推出：仍服從貝塔分布()??()ab?()hr?|，故貝塔分布是二項(xiàng)分布的共軛分布。此時(shí)，的貝葉斯估計(jì)：()a

8、rnbr?????。當(dāng)時(shí)，的先驗(yàn)分布即為貝葉斯假設(shè)。共軛分布要求先?arabn?????11ab???(11)?驗(yàn)分布與經(jīng)樣本調(diào)整后的后驗(yàn)分布具有某種一致性，即要求具有對(duì)參數(shù)()??X()hx?|?的基本認(rèn)識(shí)條件下，通過樣本調(diào)整，達(dá)到對(duì)參數(shù)認(rèn)識(shí)的升華。?12.2.5經(jīng)驗(yàn)貝葉斯估計(jì)經(jīng)驗(yàn)貝葉斯估計(jì)經(jīng)驗(yàn)貝葉斯方法體現(xiàn)了頻率統(tǒng)計(jì)和貝葉斯統(tǒng)計(jì)的某種融合，其特點(diǎn)是利用歷史樣本的信息。例12.2.1設(shè)是來自總體服從的樣本，已知，的先驗(yàn)分布1nXX?X