有限正態(tài)混合模型的參數(shù)估計(jì)與應(yīng)用.pdf

1、混合模型的歷史可以追溯到約100年前的K.Pearson時(shí)代.第一篇關(guān)于混合模型的論文是K.Pearson(1894)用矩估計(jì)方法來估計(jì)如下兩成分正態(tài)混合模型的參數(shù)：f(x，π，θ1，θ2，σ1，σ2)=πψ(x；θ1，σ12)+(1-π)ψ(x；θ2，σ22).對于上述模型的5個(gè)獨(dú)立參數(shù)，Pearson給出了5個(gè)矩方程，然后通過求解這個(gè)方程組，得到參數(shù)的估計(jì)值. 有限正態(tài)混合模型無疑是最重要的一類混合模型.幾乎可以說，正態(tài)混合

2、模型的發(fā)展歷史其實(shí)也就是混合模型的發(fā)展歷史.比較有趣的是，關(guān)于正態(tài)混合模型，一個(gè)最基本的統(tǒng)計(jì)問題，即如何估計(jì)模型中的參數(shù)，一直未得到圓滿的解決. Pearson(1894)提出的矩方法需要求解非線性方程組，并且模型的階數(shù)(成分?jǐn)?shù))越高，方程組越復(fù)雜，計(jì)算上非常困難.隨后的理論研究更指出，從漸近性質(zhì)來看，矩估計(jì)不如極大似然估計(jì). 但Day(1969)指出正態(tài)混合分布的似然函數(shù)無界，這為極大似然方法的應(yīng)用投下了陰影.到目前為

3、止，統(tǒng)計(jì)學(xué)家通過對參數(shù)空間添加約束，使得似然函數(shù)在約束的參數(shù)空間上有界，來對付Day(1969)指出的問題.但這些方法在應(yīng)用時(shí)并不能保證約束后的參數(shù)空間一定包含參數(shù)真值. 我們將用基于懲罰似然函數(shù)的方法討論正態(tài)混合模型的參數(shù)估計(jì).不改變參數(shù)空間，而是通過對似然函數(shù)添加一個(gè)懲罰項(xiàng)，來消除似然函數(shù)無界性的影響，從本質(zhì)上避免了約束參數(shù)空間方法的不足.但如何找到合適的懲罰項(xiàng)，并證明所得的懲罰最大似然估計(jì)(PMLE)有理想的性質(zhì)，則一直沒

4、有進(jìn)展.Ciupercaetal.(2003)聲稱找到了合適的懲罰函數(shù)，并能證明所得的PMLE的強(qiáng)一致性以及漸近正態(tài)性.但我們發(fā)現(xiàn)，他們的證明中有本質(zhì)的錯(cuò)誤. 通過分析Day(1969)指出的似然函數(shù)無界的現(xiàn)象，我們發(fā)現(xiàn)，理解這個(gè)問題的關(guān)鍵在于估計(jì)當(dāng)σ很小時(shí)， supθ＃{i：0＜Xi-θ＜|σlog(σ)|}的大小.我們證明了，在一個(gè)與σ無關(guān)的零測集外，當(dāng)n→∞時(shí)，總有supθ＃{i：0＜Xi-θ＜|σlog(σ)|}

5、≤{4(logn)2,8+8Mnσ|logσ|，0＜σ≤8/nM，8/nM＜σ＜ε0.其中M，∈0是正常數(shù).這是本論文第一個(gè)主要結(jié)果.在這個(gè)估計(jì)的基礎(chǔ)上，我們證明了，當(dāng)懲罰項(xiàng)p(G)=-n-α(p∑κ=11/σ2κ)，α∈(0，1]時(shí)，懲罰似然函數(shù)的最大值點(diǎn)(PMLE)是模型參數(shù)的強(qiáng)一致估計(jì)，也是漸近正態(tài)估計(jì)，并且漸近效率為1.這是本論文第二個(gè)重要結(jié)果，據(jù)我們所知，這是一個(gè)首創(chuàng)性的結(jié)果.我們進(jìn)一步發(fā)現(xiàn)，在supθ＃{i：0＜Xi-θ＜|

6、σlog(σ)|}的估計(jì)的基礎(chǔ)上，我們可以判別什么樣的懲罰函數(shù)是合適的，從而可以設(shè)計(jì)出新的懲罰函數(shù).作為特例，我們提出了如下的懲罰函數(shù)：p(G)=-n-α(p∑κ=11/σ2κ)(p∑κ=1σ2κ)，α∈(0，1]這個(gè)懲罰函數(shù)下得到的PMLE不但仍有強(qiáng)一致性以及漸近正態(tài)性(漸近效率為1)，而且還是位置尺度變換下的同變估計(jì).這是本論文第三個(gè)主要結(jié)果.正態(tài)混合模型的應(yīng)用非常廣泛，我們相信，本論文的理論成果將有巨大的應(yīng)用潛力.作為示例，我們分