基于懲罰似然的變量選擇方法及其在高維數(shù)據(jù)中的應(yīng)用.pdf

1、隨著信息技術(shù)的快速發(fā)展，我們能夠獲得到的數(shù)據(jù)信息量和變量維數(shù)越來越大。如何從眾多候選模型中選擇最佳的一個，就成為計(jì)量經(jīng)濟(jì)學(xué)重要的研究內(nèi)容。好的變量選擇方法能夠改變傳統(tǒng)方法存在的計(jì)算量大和過度擬合等問題，選出的模型有良好的預(yù)測精度和預(yù)測能力，有效地排除掉干擾變量，獲得最簡潔的模型。懲罰似然函數(shù)法作為連續(xù)的最優(yōu)化過程，與傳統(tǒng)的離散方法相比更穩(wěn)定，即使變量個數(shù)很大時，通過運(yùn)用合理的算法也能有效的執(zhí)行。因此對于高維數(shù)據(jù)模型來說，用懲罰似然函數(shù)法

2、來進(jìn)行模型選擇將會更加有效，準(zhǔn)確，穩(wěn)定。
　　本文基于懲罰似然函數(shù)方法，研究了幾類高維數(shù)據(jù)模型的變量選擇方法，獲得的方法能夠同時進(jìn)行模型選擇和變量估計(jì);此外，運(yùn)用概率論和數(shù)理統(tǒng)計(jì)知識證明了估計(jì)量具有Oracle性質(zhì)，包括能夠以概率趨于1正確地選擇模型以及估計(jì)量漸近地服從正態(tài)分布。具體來說，本文研究的方法及主要結(jié)論如下:
　　首先，本文提出了高維數(shù)據(jù)模型自適應(yīng)橋估計(jì)方法。受橋估計(jì)方法的啟發(fā)，本文按照變量的重要性程度對懲罰項(xiàng)施加

3、不同的權(quán)重，研究自適應(yīng)橋估計(jì)量是否滿足好的估計(jì)量的標(biāo)準(zhǔn)，即是否具有Oracle性質(zhì)，包括能否以概率趨于1正確地選擇模型以及估計(jì)量是否漸近地服從正態(tài)分布。本文證明了在適當(dāng)?shù)臈l件下，自適應(yīng)橋估計(jì)方法具有Oracle性質(zhì)。通過隨機(jī)模擬和實(shí)際數(shù)據(jù)來評價自適應(yīng)橋估計(jì)方法的良好的數(shù)值表現(xiàn)和實(shí)證表現(xiàn)。
　　其次，本文研究了高維數(shù)據(jù)線性回歸模型的M-估計(jì)方法，討論了懲罰項(xiàng)為局部線性逼近情形下的估計(jì)量的性質(zhì)。M-估計(jì)方法是涵蓋最小一乘估計(jì)、分位數(shù)回

4、歸、最小二乘估計(jì)以及Huber回歸的框架性方法。當(dāng)數(shù)據(jù)出現(xiàn)異常值或誤差項(xiàng)服從厚尾分布時，此時M-估計(jì)的特殊情形——最小一乘回歸比最小二乘估計(jì)更加穩(wěn)健。本文在理論上證明，通過施加一定的條件，M-估計(jì)和局部線性逼近結(jié)合作為目標(biāo)函數(shù)獲得的估計(jì)量具有良好的大樣本性質(zhì);在數(shù)值模擬部分，選擇了編寫合適的算法展現(xiàn)了該方法具有更好的穩(wěn)健性;對于超高維數(shù)據(jù)模型，我們也通過模擬說明向后回歸與我們提出的方法相結(jié)合表現(xiàn)更好;在實(shí)證部分，通過實(shí)際數(shù)據(jù)說明了我們提