有限混合分布模型與線性模型的估計和檢驗問題.pdf

1、數(shù)理統(tǒng)計學(xué)的任務(wù),歸根結(jié)底,是研究者通過一組受到隨機性干擾的數(shù)據(jù),加上主觀對這組數(shù)據(jù)的認識,用適當(dāng)?shù)慕y(tǒng)計方法,對所考慮的問題作出統(tǒng)計推斷。在傳統(tǒng)的參數(shù)統(tǒng)計中,人們習(xí)慣于首先假設(shè)樣本數(shù)據(jù)來自某個分布總體,然后基于這個總體,進行后續(xù)的統(tǒng)計推斷研究。近二十幾年來,隨著科學(xué)技術(shù)及社會生產(chǎn)力的飛速發(fā)展,人們所面對的世界越來越復(fù)雜化：作為統(tǒng)計研究者,我們所面臨的數(shù)據(jù)同樣越來越復(fù)雜。鑒于在很多情形下,樣本數(shù)據(jù)情況復(fù)雜,不同局部可能有不同的特性,單一的

2、參數(shù)分布族無法確切地描述觀測數(shù)據(jù),人們想到用有限混合分布模型對廣泛的隨機現(xiàn)象進行統(tǒng)計建模。理論證明,任何有限分布町由等協(xié)差陣的Gauss分布的有限混合任意逼近。這為有限混合分布模型的有效性提供了理論基礎(chǔ)。通過適當(dāng)選擇分量,它可對異常復(fù)雜的分布進行建模。特別是,當(dāng)觀測數(shù)據(jù)有局部變化,而單一的參數(shù)分布族無法確切地描述觀測數(shù)據(jù)時,有限混合分布模型表現(xiàn)出色。與此同時,實踐同樣證明了有限混合分布模型具有良好的適應(yīng)性。因而近二十幾年來,有限混合分布

3、模型獲得了迅速并且深入的發(fā)展,廣泛應(yīng)用于社會各領(lǐng)域,尤其是生物學(xué),基因工程,心理學(xué),信息科學(xué),金融保險等領(lǐng)域。它在統(tǒng)計數(shù)據(jù)分析中扮演著越來越重要的角色。除有限混合分布模型,本文還研究了線性模型。線性模型是數(shù)理統(tǒng)計學(xué)中發(fā)展較早、理論豐富且應(yīng)用性很強的一個重要分支。在過去幾十年中,線性模型不僅在理論研究方面甚為活躍,而且在經(jīng)濟、金融、醫(yī)藥衛(wèi)生、教育心理等社會各領(lǐng)域的應(yīng)用也日漸廣泛。 本文研究了有限混合分布模型和線性模型中的統(tǒng)計推斷問

4、題,包括參數(shù)估計,估計的算法,假設(shè)檢驗,穩(wěn)健性等?，F(xiàn)將主要內(nèi)容概述如下： 一、在假設(shè)檢驗方面,本文主要研究了正態(tài)混合分布模型的同構(gòu)性檢驗問題,也就是說,檢驗觀測數(shù)據(jù)究竟是來自單一的正態(tài)總體,還是混合正態(tài)總體。近二十年來該檢驗問題備受關(guān)注。這就是本文的第二章所研究的問題。本文在Chen(2003)的基礎(chǔ)上,去掉等方差的條件。首先,通過定義二維歐氏空間中的Lebesgue-Stieltjes測度,將混合正態(tài)分布的概率密度函數(shù)表示為在

5、此測度上的L-S積分,由此得到了在新參數(shù)下模型的可識別性；接著,研究了參數(shù)的極大似然估計在原假設(shè)成立,即單一正態(tài)總體時的大樣本性質(zhì),得到了其相合性；最后,研究似然比的大樣本性質(zhì),證明了在原假設(shè)成立,即單一正態(tài)總體時,混合正態(tài)分布模型的似然比檢驗統(tǒng)計量漸近地服從均值0,方差1的兩參數(shù)截尾高斯過程的平方的上確界與自由度為2的卡方分布的最大值。 二、在參數(shù)估計方面,本文以混合轉(zhuǎn)移分布模型作為基本模型?；旌限D(zhuǎn)移分布模型,又稱高階可和馬爾

6、可夫鏈,簡單來說,就是高階馬爾可夫鏈的不同滯后對目前時刻的影響是可分并且可和的。高階馬爾可夫鏈的一個很大的困擾是,當(dāng)階數(shù)ι和有限維狀態(tài)空間χ中元素的個數(shù)m增加時,待估的獨立參數(shù)的個數(shù)呈指數(shù)級增長,給統(tǒng)計推斷帶來了極大的困難。正是在這種困擾中,Raftery(1985)第一次使用混合轉(zhuǎn)移分布模型來近似時齊高階馬爾可夫鏈。與高階馬爾可夫鏈的完全參數(shù)模型相比,混合轉(zhuǎn)移分布模型擁有少得多的參數(shù)。故其具有簡單,易于分析、模擬、估計等優(yōu)點。值得注意

7、的是,它同時也是有限混合分布模型,所以它還表現(xiàn)出善于描述隨機變量在非單一模型中廣泛的非標準行為,如非高斯性及非線性等特征。因此,混合轉(zhuǎn)移分布模型自從1985年被引入后,不論在理論上還是在實踐中都得到了極大的推廣和發(fā)展。本文以混合轉(zhuǎn)移分布模型作為基本模型,研究其參數(shù)估計問題。 1.第三章研究了基于正態(tài)分布與廣義極值分布的混合轉(zhuǎn)移分布模型的參數(shù)估計問題。在混合轉(zhuǎn)移分布模型建模時,著眼于20世紀80年代以來,國際上一連串金融、IT、資本運營等

8、行業(yè)危機的爆發(fā),充分考慮到可能引起嚴重后果的極端事件或小概率事件,利用極值理論方法,有效地對隨機序列的最犬(小)值的概率分稚和數(shù)據(jù)序列的邊際概率分布尾部進行建模,建立了基于高斯分布與廣義極值分布的混合轉(zhuǎn)移分布模型：得到了在該模型下,時間序列一階平穩(wěn)與k階平穩(wěn)的充分必要條件。并推導(dǎo)出在時間序列二階平穩(wěn)的條件下,一階自相關(guān)函數(shù)與二階自相關(guān)函數(shù)的關(guān)系式：最后,應(yīng)用EM算法求出模型中各參數(shù)的極大似然估計,給出它們的估計方程。 2.第四章

9、研究了基于Weibull分布的混合轉(zhuǎn)移分布模型的參數(shù)估計問題。首先給出基于Weibull分布的混合轉(zhuǎn)移分布模型的一階與k階平穩(wěn)的充分必要條件；接著,應(yīng)用EM算法,得到了參數(shù)的極大似然估計及它們的標準誤差：然后,應(yīng)用Bootstrap方法,得到了參數(shù)的置信區(qū)間；最后,通過模擬與實例分析,說明該模型在分析來自金融、保險等某些厚尾分布的數(shù)據(jù)時,在參數(shù)估計方面的表現(xiàn)優(yōu)于高斯混合轉(zhuǎn)移分布模型。 三、在第三章與第四章我們使用EM算法計算參數(shù)

10、的極大似然估計,第五章研究了基于Newton-Raphson算法的Monte Carlo EM加速算法。受Monte Carlo EM算法與EM加速算法啟發(fā),本文構(gòu)造了一種新的EM算法,稱為Monte Carlo EM加速算法；證明了該算法在似然函數(shù)/后驗分布的眾數(shù)的附近確實具有二次收斂速度,改進了Monte Carlo EM算法的收斂速度：并通過一個數(shù)值例子的計算結(jié)果說明了該算法的優(yōu)良性,它兼具實現(xiàn)簡單及收斂速度快的特點。 四

11、、第六章研究線性模型參數(shù)估計的穩(wěn)健性問題。在一般線性模型中,參數(shù)的可估函數(shù)的常用估計有廣義最小二乘估計,高斯馬爾可夫估計,方差的最小范數(shù)二次無偏估計等,本文研究了這些估計關(guān)于誤差分布的穩(wěn)健性問題。具體地說,就是研究隨機誤差的最大分布族,使得隨機誤差項的分布在該范圍內(nèi)變動時,上述估計量仍不失原有的統(tǒng)計優(yōu)良性。 綜上所述,本文較為系統(tǒng)、深入地研究了有限混合分布模型和線性模型的統(tǒng)計推斷問題,包括混合正態(tài)分布模型同構(gòu)性檢驗的一般性問題,

12、混合轉(zhuǎn)移分布模型的建立,模型中參數(shù)的極大似然估計,黃信區(qū)間,估計的算法以及線性模型中參數(shù)估計的穩(wěn)健性等。在有限混合分布模型的假設(shè)檢驗方面,比較徹底地解決了兩個正態(tài)混合分布模型同構(gòu)性檢驗的一般性問題,發(fā)展了Chen(2003)的結(jié)果；在有限混合分布模型建模時,結(jié)合實際,提出了基于正態(tài)分布與廣義極值分布的混合轉(zhuǎn)移分布模型以及基于Weibull分布的混合轉(zhuǎn)移分布模型；在估計的算法方面,改進了Louis(1982)的結(jié)果,提出了一種既便于計算,