外文翻譯---多元回歸模型的經(jīng)驗似然比檢驗

1、<p><b>　　Ⅲ.外文翻譯</b></p><p>　　多元回歸模型的經(jīng)驗似然比檢驗</p><p>　　作者：吳鑑洪，朱力行</p><p><b>　　國籍：中國</b></p><p>　　出處：高等教育新聞和施普林格出版社，2007年</p><p>

2、　　摘 要：本文提供了一些檢驗工具，檢驗多元回歸模型，其中包括古典回歸模型和時間序列自回歸模型。在統(tǒng)計推理中，對于構建檢驗和置信領域，經(jīng)驗似然比法是一個眾所周知的強大的工具。然而，對于模型檢驗，基于檢驗的單純的經(jīng)驗似然（簡稱EL）并沒有Wilks現(xiàn)象。因此，我們利用誤差修正來構建基于EL的score 檢驗，然后得到一個非參數(shù)版本的Wilks定理。此外，利用EL和score 檢驗方法自身的有點，基于EL的score 檢驗有如下優(yōu)良的特征

3、：他們自我尺度不變并且可以檢測備擇以的速度上收斂于零，這對于缺乏擬合度的檢測來說也許是最快的速率；他們包括權函數(shù)這為我們提供了靈活地選擇分數(shù)改善功效的性能，尤其是方向性備擇。此外，當備擇不具備方向性，我們建立漸進的自由分布最大最小值檢驗來檢驗這一大類的備擇。最后，我們進行了模擬研究，并進行了實際數(shù)據(jù)分析。</p><p>　　關鍵詞：自回歸；誤差修正；經(jīng)驗似然比檢驗；最大最小值檢驗；多元回歸</p>

4、<p><b>　　1、引言</b></p><p><b>　　假設有一個響應向量</b></p><p><b>　　取決于一個協(xié)變向量</b></p><p>　　其中，T代表轉置。當預期值Y存在，我們可以將Y分解成一個X的向量函數(shù)</p><p>　　和一個

5、與X互不相關的干擾變量</p><p><b>　　，如。</b></p><p>　　當一個響應向量是未知的，平均值函數(shù)X可以根據(jù)平均散布誤差標準來確定最優(yōu)的Y值。大多數(shù)的文獻都是致力于對回歸函數(shù)的模型建立和統(tǒng)計分析。一種比較流行的方法就是假設這個內含的模型是屬于參數(shù)模型體系，用簡明的方式來表示反應向量和協(xié)變向量的關系。因為存在著很多的競爭模型，所以為了防止得出錯誤

6、的結論，模型的檢驗是非常重要的。</p><p>　　對于模型的檢驗，大多數(shù)文獻資料都是針對一維反應向量的情況下的研究。本文將對其中一些成果進行回顧。對模型進行檢驗判斷的技術主要有兩種，一種是局部平滑法，另一種是整體平滑法。針對于前者，Hardle、Mammen [1]（、Eubank和Hart [2]提出了基于參數(shù)與非參數(shù)之間的對比來檢測存在可能性情況的測試方法。參考文獻[3]對此做了比較全面的分析。Aert,

7、 C laeskens 和Hart [4]構造了以正交級數(shù)為基礎的測試，涉及對雙變量回歸嵌套模型的選擇。</p><p>　　Horowitz 和Spokoiny [5]提出了一種自適應性檢驗。但是，這個檢驗需要對平均數(shù)進行非參數(shù)性的估算并受到維數(shù)的影響。為了避免嚴重的維數(shù)問題，因此提出了一種基于殘余標記的實證檢驗，它是全面平滑法的一種，見參考文獻[6-12]。這種檢驗不需要非參數(shù)平滑，但與高頻數(shù)的方法相比靈敏度

8、要低。另外，F(xiàn)an 和 Huang [13]提出了一種適應性的Neyman檢驗方法</p><p>　　在現(xiàn)實中，一個協(xié)變向量可以同時決定多個響應向量是非常尋常的事。比如，在經(jīng)濟和金融里，多元時間序列變的越來越有用，吸引了大量的學者進行研究：詳情見參考文獻[14]。這種方法論經(jīng)過一些修改能幫助所有一維響應向量來解決多元回歸模型。然而，對于現(xiàn)有的方法論的直接擴展都不能構成有力的檢驗。我們應該特別關注響應向量各個組成

9、要素之間的關系，這在理論和實踐上都是非常重要的。</p><p>　　在本論文中，我們創(chuàng)建了經(jīng)驗似然比檢驗，并且研究多元回歸模型的漸近行為，其中包括傳統(tǒng)回歸和時間序列的自回歸。在文獻中，基于可能性的實證檢驗往往具有一些參數(shù)可能性的特點，比如Bartlett的可修正性原則和Wilks’定理。參考文獻[18]列出了簡要的觀點。我們試圖利用實證可能性法和計分檢驗法的優(yōu)勢為回歸模型和自回歸模型創(chuàng)建以實證可能性為基礎的計分

10、檢驗法。我們要注意的是單純的基于實證可能性的測試并不是Wilks’現(xiàn)象。但是通過偏差修正的測試就是Wilks’現(xiàn)象。此外，測試的結果往往有以下這些特征：在零假說的前提下，他們是漸近卡方，在一個參數(shù)比率下能發(fā)現(xiàn)所有可能性情況都趨向于零；他們是自我規(guī)模不變的，在有限的差異的情況下是不需要進行估計的；他們還包含了加權函數(shù)，能夠靈活選擇分數(shù)來加強動力性能，特別是在方向性的選擇上。</p><p>　　本論文的結構如下：第

11、2部分是構建實證可能性比率和在零假說的情況下的漸近行為測驗，并討論了可能存在的其他選擇。第3部分是經(jīng)驗似然比檢驗在時間序列自回歸模型中的使用情況。第4部分是一些模擬實驗和應用的實際數(shù)據(jù)的匯報。在附錄中還提供了相關技術證明。</p><p>　　2、檢驗統(tǒng)計量及其漸近性質</p><p>　　2.1檢驗統(tǒng)計的建立</p><p>　　假設這是一個取自人口的樣本滿足：&

12、lt;/p><p>　　其中是一類維變量，是一維響應向量，是一個維矢量值函數(shù)的定義在維歐氏空間和誤差向量滿足。在本文中，我們主要集中在模型檢驗。具體來說，空的假設是，</p><p>　　μ(·) = m(θ, ·) 對于一些θ而言,</p><p><b>　　和替代是</b></p><p>　　:

13、μ(·) = m(θ, ·) 對于任何θ，</p><p><b>　　那么</b></p><p>　　是一個已知函數(shù)滿足維的參數(shù)</p><p><b>　　和</b></p><p>　　其中 是參數(shù) 的維度 . 注意 公式 (1)的零假設條件下,</p>&

14、lt;p><b>　　從而得到方程</b></p><p>　　對于任何對于任何k維矢量函數(shù)</p><p>　　的 X, 假定參數(shù)存在, 那些 “?” 代表 分量相乘。 作為的檢驗過程一部分, 對未知參數(shù)的估計是不可避免的。作為我們的重點是對模型的檢驗，而非參數(shù)估計，最常用的非線性最小二乘估計量是用在檢驗統(tǒng)計的建立上。</p><p>

15、<b>　　讓</b></p><p>　　在零模型下為參數(shù)θ的近似值。對于每一個 ( , ·) 和 ( , ·),其相應的導數(shù) (在 上 ) 為( , ·) 和 ( , ·). 我們定義</p><p><b>　　并且</b></p><p><b>　　.</b

16、></p><p>　　首先，我們給出下面的一些假設條件： </p><p>　　(A1) 在零假設條件下, 的單位根n的一致估計量。 對于任意單位根n 估計量 ,</p><p><b>　　as ,</b></p><p>　　“ch” 代表造一個內集合的壁包（見（2）下面關于的定義）。</p>

17、;<p>　　是正定的，對于任意 θ ∈ B, 那么 B 是的鄰域。</p><p>　　(A2) ω(θ, ·) 和m(θ, ·) ar在的鄰域都是連續(xù)可微的 </p><p><b>　　, ,</b></p><p><b>　　那么</b></p><p&g

18、t;　　其中導數(shù)擁有有限的三階可導。</p><p><b>　　(A3)</b></p><p><b>　　和</b></p><p>　　其中(·) 和 > 0 ( j = 1, . . . , k).</p><p>　　(A4) 存在以下的期望,對于所有的 j,</

19、p><p><b>　　,</b></p><p><b>　　,</b></p><p><b>　　.</b></p><p>　　備注 2.1 通過條件(A1)可以推出公式（3）解的存在。其他的都是比較合適的，就象Zhu, Wu 和 Xu 他們討論的一樣。</p>

20、<p><b>　　讓</b></p><p>　　， i=1,…,n, (2)</p><p><b>　　那么</b></p><p><b>　　.</b></p><p>　　基于權向量, 經(jīng)驗似然函數(shù)可以如下定義：</p>

21、;<p><b>　　服從</b></p><p><b>　　, , .</b></p><p>　　引入拉格朗日多項式， 通過以下的公式得到最理想的權重，</p><p>　　那么 λ (一個k維 向量) 有相面的公式?jīng)Q定</p><p><b>　　(3)</b&

22、gt;</p><p>　　那么, t 統(tǒng)計量 對 公式（1）的的零假設檢驗的經(jīng)驗對殊似然比統(tǒng)計量是</p><p><b>　　.</b></p><p>　　定理 2.1 在滿足零模型（1）和 假設 (A1)–(A4)的條件下，當時統(tǒng)計量收斂于 。 那么 是自由度為k的卡方分布</p><p><b>　

23、　2.2 功效研究</b></p><p>　　在這一部分，我們研究經(jīng)驗似然比檢驗的功效狀態(tài)。考慮一個n階模型序列</p><p><b>　　(4)</b></p><p>　　其中 i = 1, 2, . . . ,對于任意k維 X 的矢量函數(shù)和常數(shù)序列. 我們有如下結果.</p><p>　　定理 2.

24、2 在公式（4） 和 假設條件(A1)–(A4)的情況下, 如果期望滿足</p><p><b>　　, ,</b></p><p>　　并也我們有如果 → r (非零常數(shù)), 并且</p><p><b>　　如果 .</b></p><p><b>　　,</b><

25、;/p><p>　　那么 是一個無偏移的隨機變量 擁有k的自由度 和</p><p><b>　　, </b></p><p>　　從這個結果，可以看出經(jīng)驗似然比檢驗對于整體備擇和局部備擇來說是一致的，并以的速度拒絕原假設。它也可以檢測備擇以的速度無限趨近于0，對于缺乏擬合度的檢驗來說也許是最快速的速率。因此，這種基于EL 的sco

26、re 檢驗對備擇來說是非常敏感的。對于接受備擇假設的冪的計算在比值為處拒絕原假設，我們可以從卡方分布上確定漸進p值。的漸進功效函數(shù)是，是k維的標準正態(tài)分布函數(shù)，其中是分布的分位數(shù)。根據(jù)文獻[19]中引理6.2.1，是單調函數(shù)。所以我們應當選擇這樣的權函數(shù)ω，它能使足夠大從而可以得到最佳的檢驗。所以，對于定向備擇，我們可以利用合理的權來得到一個強大的檢驗。在實踐過程中，為了簡便起見，我們可以選擇偏離作為權以及相應得到的檢驗也是有效的，這在

27、模擬過成中證明是正確的。當備擇不是定向的，一個單一的權函數(shù)是沒有用的，因為如果權沒有適當選定，我們可能失去許多的功效。通常，我們可以得到這樣的信息，一些模型可能含有或者近似備擇假設。在這種情況下，當我們建立模型解決這類問題時，應當把可能的偏差用于計算。另外，如果在備擇上沒有置信是有效的，那么，飽和的備擇是適用的，然后omnibus 檢驗是用來解決這類問題的</p><p>　　考慮模型的序列：其中 ，</p

28、><p>　?。?（5）</p><p>　　其中 是未知參數(shù)， 是已知可能存在的偏差， 相應的零假設模型</p><p><b>　　.</b></p><p>　　接下來我們?yōu)樽鳛?的函數(shù)定義一個最大最小值檢驗，其中 是一個標準范式</p><p><b

29、>　　.</b></p><p>　　結合公式 (4), 我們認為權向量 屬于 , j = 1, . . . , d.</p><p><b>　　得到</b></p><p><b>　　,</b></p><p>　　其中

30、</p><p>　　λ 是 一個 kd維拉格朗日多項式。 結合定理2.2的證明，在公式（5）的條件下，如果 n → ∞， 當 → r 其中，，那么</p><p><b>　　當</b></p><p><b>　　，</b></p><p><b>　　其中</b><

31、;/p><p><b>　　，，</b></p><p><b>　　那么</b></p><p><b>　　，</b></p><p>　　表示 在 上的在正態(tài)分布。所以,，當n → 1, 有</p><p>　　同樣，我們利用存在的最大最小值的理論能得

32、到對的理想的檢驗結果。見 e.g.,定理30.2文獻 [20].</p><p>　　定理 2.3 對于給定的意義水平，0 < α < 1, and γ = 1/2, 檢驗</p><p>　　對于是一個最大最小值的α檢驗 相對于 ，其中</p><p>　　λ 滿足下面的方程：</p><p>　　其中 是模型 (5)

33、并且 滿足</p><p>　　對于任意的用戶指定值 a > 0， 是卡方隨機變量的(1 ? α) 分位數(shù)，擁有kd的自由度。由P()得到線性最大最小值的功效，其中a是非中心參數(shù)。</p><p>　　3、相依數(shù)據(jù)經(jīng)驗似比檢驗</p><p>　　{Xt, t=0, 1, 2 …}是由一些自回歸模型所產(chǎn)生的靜態(tài)和動態(tài)的K維時間序列。為了化簡它，我們考慮將多

34、元自回歸模型表示為：</p><p><b>　　其中 : </b></p><p>　　是由未知參數(shù)確定的。是的域。我們將的平均值函數(shù)表示為。</p><p>　　對于參數(shù) (是一個在空值下的真值)的估算，可以使用非線性的最小乘估計量，用符號表示。</p><p>　　在這個部分，我們將對第2部分的結果擴展到從

35、屬型數(shù)據(jù)的情況。具體來說就是運用基于經(jīng)驗似然比檢驗的計分檢驗來檢驗多元時間序列模型的充分性?？梢杂眉訖喙?lt;/p><p><b>　　表示，</b></p><p>　　同時 和的導數(shù)是和。我們確定公式為</p><p><b>　　。</b></p><p><b>　　通過：<

36、/b></p><p>　　首先，在得出結果之前我們先確定一些常規(guī)假設。</p><p>　?。ˋ5）時間序列既是靜態(tài)的也是動態(tài)的。</p><p>　?。ˋ6）在零模型下，是的n次根的一致估計量。并且對于任何一個的n次根的估計量，當n 時，趨向于 1。其中“ch”表示集合的凸包（的定義在下面的（7）和（8））。矩陣為正數(shù)，且，其中是的開鄰域。</p&g

37、t;<p>　?。ˋ7）和在的鄰域內關于?都是連續(xù)可微的。</p><p><b>　　其中： .</b></p><p>　　導數(shù)有確定的第三勢差。</p><p><b>　　（A8）</b></p><p>　　可以用于的函數(shù)，其中 > 0 (對于所有的).<

38、/p><p>　　（A9）下面的期望值存在</p><p><b>　　其中：</b></p><p><b>　　然后將。</b></p><p>　　放入。在基于K維向量下，實證可能性函數(shù)可以表示為，在的條件下。</p><p>　　通過引進拉格朗日乘子，最優(yōu)的權重為，<

39、;/p><p>　　其中? (K維向量)由決定。然后，在（6）的零假設的情況下，檢驗中的實證對數(shù)可能性比率為。</p><p>　　定理 3.1 在（6）H0和(A5)-(A9)的假設前提下，當n>0?時，趨向于，其中是在自由度為K的情況下的卡方分布。接著，在可選擇的情況下，我們研究了對進行經(jīng)驗似然比檢驗后的動力行為。由n作為變量的序列模型為</p><p>　

40、　，其中是常量序列，一些由度量的K維向量函數(shù)是可變的，表示為：</p><p>　　然后我們就得到了以下的結果。</p><p>　　定理 3.2 在（10）和(A5)-(A9)的假設條件下，假設預期值為</p><p>　　當? r（非零常數(shù)），概率。當，</p><p>　　其中是一個在K自由度下的非中心卡方隨機變量</p>

41、<p><b>　　),</b></p><p><b>　　=.</b></p><p>　　將最大化可以選出最優(yōu)的加權函數(shù)，這與第2部分的傳統(tǒng)情況基本相似。因此，省略相同的討論?？紤]下面的序列模型，當1 < t <， </p><p>　　公3，其中是未知參數(shù)，</p><p

42、>　　是可能性偏差。在零模型下相當于 </p><p>　　接下來我們導出一個H0對的極大值檢驗，其中|為基準，且</p><p><b>　　.</b></p><p>　　與（10）一樣，我們認為加權殘值從屬于,j=1,……d。將</p><p><b>　　帶入，其中: </b&

43、gt;</p><p>　　?是維拉格朗日乘子。根據(jù)定理3.2的證明，在（11）的情況下，?，當，，這時<。當，時</p><p><b>　　其中</b></p><p><b>　　且： </b></p><p>　　且表示:的正態(tài)分布。因此，當，我們就得出</p>&

44、lt;p><b>　　。</b></p><p>　　與傳統(tǒng)的回歸相似，極大值檢驗同樣有很多可選擇的情況。</p><p>　　定理 3.3 在已知的的顯著性水平下，檢驗</p><p>　　是對的情況下α的極大值檢驗，其中</p><p><b>　　滿足： </b></p&g