高維數(shù)據(jù)變量選擇的幾點(diǎn)研究.pdf

1、變量選擇是高維數(shù)據(jù)分析的一個(gè)重要研究問題，而對(duì)似然函數(shù)加一個(gè)懲罰項(xiàng)是近些年使用最為廣泛的變量選擇方法。懲罰似然方法的提出始自上世紀(jì)六七十年代，但直到上世紀(jì)九十年代，統(tǒng)計(jì)學(xué)家才開始系統(tǒng)地研究懲罰似然方法的理論性質(zhì)，其中研究較多的是線性模型和廣義線性模型。針對(duì)具有重要實(shí)際應(yīng)用背景的生存分析模型鮮有突破性的理論性質(zhì)，其中的困難主要來(lái)源于生存分析數(shù)據(jù)的刪失特征。本論文的一部分內(nèi)容是針對(duì)生存分析模型研究懲罰似然方法的理論性質(zhì)，主要研究了生存分析中

2、最重要的Cox模型下懲罰似然估計(jì)量的oracle性質(zhì)。我們?cè)谟?jì)數(shù)過程框架下研究高維、非齊次變量的Cox模型，在證明定理時(shí)，所加的正則條件僅加在真實(shí)的回歸參數(shù)上，從而使得條件更自然，這有別于文獻(xiàn)中其他方法所加條件。
　　在實(shí)際應(yīng)用中，人們更感興趣的是如何快速有效地獲得合適的參數(shù)估計(jì)。近十幾年來(lái)人們提出了各種算法，大部分可以歸結(jié)為路徑算法。似然懲罰估計(jì)量的求解是一個(gè)最優(yōu)化問題，對(duì)于凸懲罰其算法相對(duì)簡(jiǎn)單，而對(duì)于非凸懲罰的算法往往復(fù)雜多了

3、。我們?cè)诘谌轮刑岢隽艘环N新的路徑算法，該方法與文獻(xiàn)中已有方法的優(yōu)點(diǎn)是，可以更容易找到全局最優(yōu)解?？梢葬槍?duì)凸懲罰和非凸懲罰都得到有效的路徑解。通過數(shù)值計(jì)算比較發(fā)現(xiàn)新提出的算法在計(jì)算效率上與現(xiàn)有方法有較大的優(yōu)勢(shì)。
　　路徑算法提供了一系列的解，必須從中選擇最優(yōu)的解，而針對(duì)低維數(shù)據(jù)的傳統(tǒng)方法不適用于高維數(shù)據(jù)。大多數(shù)針對(duì)高維數(shù)據(jù)的前人工作是基于修正信息類準(zhǔn)則，本文的第四章和第五章對(duì)交叉驗(yàn)證方法（一類數(shù)據(jù)驅(qū)動(dòng)的方法）進(jìn)行修正以分別應(yīng)用于線