時間序列分析方法 第05章 最大似然估計

1、時間序列分析方法講義第5章最大似然估計1第五章最大似然估計在本章中我們開始討論時間序列模型的參數(shù)估計方法，其中極大似然估計是一種最為常用的參數(shù)估計方法。我們僅僅討論極大似然估計的原理和似然函數(shù)的推導，而對獲取極大似然估計的算法不加以詳述。5.1引言5.1.1ARMA模型的極大似然估計模型的極大似然估計假設(shè)數(shù)據(jù)的真實生成過程是一個過程，則該過程的數(shù)據(jù)生成機制為：)(qpARMAqtqttptptttYYYcY???????????????

2、?????????112211其中是白噪聲序列，滿足：t???????tstsEts0)(2???我們將要討論如何利用的觀測值來估計母體參數(shù)：tY)(22121???????qpc???θ我們將要采用的方法是極大似然估計方法，因此需要獲得似然函數(shù)的表達式。假設(shè)獲得了個樣本，如果能夠計算出相應的聯(lián)合概率密度函數(shù)：T)(21Tyyy?)(21)(1θTYYyyyfT??上述函數(shù)可以視為在給定參數(shù)下樣本發(fā)生的概率，因此合理的參數(shù)取值是使得上述

3、概率最大，如此參數(shù)便稱為極大似然估計。這時我們需要極大化上述聯(lián)合概率密度。為此，我們假設(shè)噪聲序列是高斯白噪聲序列，即)0(...~2??Ndiit雖然這個假設(shè)非常強，但是在這樣假設(shè)下得到的參數(shù)估計，對于非Gauss過程來說θ?也是很有意義的。具體求解極大似然估計的步驟是：一是先求出并計算似然函數(shù)，二是求似然函數(shù)的最大值。這里涉及到一些代表性的非線性數(shù)值優(yōu)化問題。5.2高斯高斯過程的似然函數(shù)過程的似然函數(shù))1(AR假設(shè)數(shù)據(jù)生成過程是一個具

4、有高斯白噪聲序列的過程：)1(ARtttYcY??????11這時對應的參數(shù)向量為：。我們首先尋求聯(lián)合概率分布函數(shù)，也就是這)(2????cθ些參數(shù)對應的似然函數(shù)。(1)求上述過程似然函數(shù)的代表性過程是利用條件概率密度進行傳遞，所以需要先求出的概率密度。它的均值和方差為：1Y，???11cEY22211)(??????YE由于它具有正態(tài)分析，因此對應的密度函數(shù)為：?????????????)1(2)]1([exp)1(21)()(222

5、12221111????????cycyfyfYYθ(2)在給定的條件下，的條件概率分布可以得到：11yY?2Y時間序列分析方法講義第5章最大似然估計3???????Ttttycy221)(?上式的最小值就是線性回歸的最小二乘估計，滿足方程：???????????????????????????????????????????????TtttTttTttTttTttyyyyyyTc212122121211???類似地，噪聲的方差為：??

6、???????TtttycyT2212)??(11???當樣本容量足夠大時，可以證明上述近似或者條件極大似然估計具有與精確極大似然估計一致的極限分布。5.3高斯高斯過程的似然函數(shù)過程的似然函數(shù))(pAR對于一般的高階自回歸過程：，tptptttYYYcY??????????????2211)0(..~2??Ndiit此時所要估計的總體參數(shù)向量是：。)(221????pc??θ(1)似然函數(shù)的估值似然函數(shù)的估值EvaluatingtheL

7、ikelihoodFunction假設(shè)我們獲得了個來自過程的樣本，假設(shè)前個樣本表示為T)(pARp)(21??ppyyy?y可以將這個向量當作維Gauss變量的一個樣本。這個向量的均值表示為，它的ppμ每個分量都是：)1(1pc????????假設(shè)是的協(xié)方差矩陣，則有：pV2?)(1pYY???????????????????????????????22122212121212)()])([()])([()])([()()])([()]

8、)([()])([()(????????????????ppppppYEYYEYYEYYEYEYYEYYEYYEYE???????V對于一階自回歸過程而言()，上述矩陣是一個標量，；對于階1?p)1(12???pVp自回歸而言：???????????????????????03213012210112102??????????????????????????pppppppV這里是過程的第個自協(xié)方差，可以按照以前的介紹公式計算。j?)(p