第五章貝葉斯估計(jì)

1、第五章貝葉斯統(tǒng)計(jì)5.1簡(jiǎn)介到目前為止，我們已經(jīng)知道了大量的不同的概率模型，并且我們前面已經(jīng)討論了如何用它們?nèi)M合數(shù)據(jù)等等。前面我們討論了如何利用各種先驗(yàn)知識(shí)，計(jì)算MAP參數(shù)來估計(jì)θ=argmaxp(θ|D)。同樣的，對(duì)于某種特定的請(qǐng)況，我們討論了如何計(jì)算后驗(yàn)的全概率p(θ|D)和后驗(yàn)的預(yù)測(cè)概率密度p(x|D)。當(dāng)然在以后的章節(jié)我們會(huì)討論一般請(qǐng)況下的算法。5.2總結(jié)后驗(yàn)分布后驗(yàn)分布總結(jié)關(guān)于未知變量θ的一切數(shù)值。在這一部分，我們討論簡(jiǎn)單的數(shù)

2、，這些數(shù)是可以通過一個(gè)概率分布得到的，比如通過一個(gè)后驗(yàn)概率分布得到的數(shù)。與全面聯(lián)接相比，這些統(tǒng)計(jì)匯總常常是比較容易理解和可視化。5.2.1最大后驗(yàn)估計(jì)通過計(jì)算后驗(yàn)的均值、中值、或者模型可以輕松地得到未知參數(shù)的點(diǎn)估計(jì)。在5.7節(jié)，我們將討論如何利用決策理論從這些模型中做出選擇。典型的后驗(yàn)概率均值或者中值是估計(jì)真實(shí)值的恰當(dāng)選擇，并且后驗(yàn)邊緣分布向量最適合離散數(shù)值。然而，由于簡(jiǎn)化了優(yōu)化問題，算法更加高效，后驗(yàn)概率模型，又名最大后驗(yàn)概率估計(jì)成為

3、最受歡迎的模型。另外，通過對(duì)先驗(yàn)知識(shí)的取對(duì)數(shù)來正則化后，最大后驗(yàn)概率可能被非貝葉斯方法解釋（詳情參考6.5節(jié)）。最大后驗(yàn)概率估計(jì)模型在計(jì)算方面該方法雖然很誘人，但是他有很多缺點(diǎn)，下面簡(jiǎn)答介紹一下。在這一章我們將更加全面的學(xué)習(xí)貝葉斯方法。圖5.1（a）由雙峰演示得到的非典型分布的雙峰分布，其中瘦高藍(lán)色豎線代表均值，因?yàn)樗咏蟾怕?，所以?duì)分布有個(gè)比較好的概括。(b)由伽馬繪圖演示生成偏態(tài)分布，它與均值模型完全不同。5.2.1.1無法衡量不

4、確定性最大后驗(yàn)估計(jì)的最大的缺點(diǎn)是對(duì)后驗(yàn)分布的均值或者中值的任何點(diǎn)估計(jì)都不能夠提供一個(gè)不確定性的衡量方法。在許多應(yīng)用中，知道給定估計(jì)值的置信度非常重要。我們?cè)?.22節(jié)將討論給出后驗(yàn)估計(jì)置信度的衡量方法。5.2.1.2深耕最大后驗(yàn)估計(jì)可能產(chǎn)生過擬合y=f(x)利用蒙特卡洛仿真能夠得到y(tǒng)的分布（見2.7.1節(jié)）。其結(jié)果如圖5.2.我們看到原始的高斯分布已經(jīng)被非線性的S曲線乘方。特別的指出的是，我們看到轉(zhuǎn)化后的分布模型不完全等同于原始模型的形

5、式。圖5.2在非線性轉(zhuǎn)換下的密度轉(zhuǎn)化形式示例。注意轉(zhuǎn)化后的分布函數(shù)與原始分布的區(qū)別。以練習(xí)1.4為例（bishop2006b）。圖形由方差的貝葉斯變化生成。為了了解最大后驗(yàn)估計(jì)中如何產(chǎn)生這一問題的，考慮如下例子。伯努利分布是典型的均值μ參數(shù)化模型所以，p(y=1|μ)=μ其中，y∈01。在每個(gè)單元間隔，假定我們有一個(gè)統(tǒng)一的先驗(yàn)：pμ(μ)=1I(0≤μ≤1)。如果這里沒有數(shù)據(jù)，那么最大后驗(yàn)估計(jì)僅僅是前驗(yàn)知識(shí)的模型，他們可以是在0、1之間