基于稀疏模型的快速核方法.pdf

1、自從二十世紀(jì)九十年代以來(lái),核方法已經(jīng)被廣泛應(yīng)用于模式識(shí)別與機(jī)器學(xué)習(xí)領(lǐng)域。其優(yōu)勢(shì)在于核方法允許研究者在原始數(shù)據(jù)對(duì)應(yīng)的高維特征空間使用線性方法來(lái)分析和解決問(wèn)題，不需要直接對(duì)數(shù)據(jù)進(jìn)行映射。另一方面，一般的非線性方法映射的維數(shù)往往過(guò)高不受控制,而核方法能有效地規(guī)避“維數(shù)災(zāi)難”問(wèn)題。但是應(yīng)當(dāng)指出，核方法在對(duì)待測(cè)樣本進(jìn)行特征抽取時(shí)，需要計(jì)算其與所有訓(xùn)練樣本間的核函數(shù),因此訓(xùn)練樣本的個(gè)數(shù)直接制約了核方法的特征抽取效率,在實(shí)際的大樣本集分類應(yīng)用中，該方

2、法的特征抽取率將非常低，甚至難以應(yīng)用。因此在保證識(shí)別率的前提下，尋求提高核方法的特征抽取效率的工作是非常有現(xiàn)實(shí)意義的。
　　本文通過(guò)從訓(xùn)練樣本集中選擇出一部分有代表性的樣本，本文稱之為關(guān)鍵樣本的思想，來(lái)對(duì)多種核方法進(jìn)行改造，構(gòu)造出其稀疏核模型，進(jìn)而達(dá)到提高特征抽取效率的目的。在稀疏核模型中，只需計(jì)算待測(cè)樣本與關(guān)鍵樣本間的核函數(shù)，因此稀疏核模型對(duì)應(yīng)著極高的特征抽取效率，這也是本文的最重要貢獻(xiàn)。在關(guān)鍵樣本選擇方法上，本文首先以一種形式

3、簡(jiǎn)單并且被廣泛使用的基于核的最小二乘法(KMSE)為例，找出其對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)模型，以特征抽取結(jié)果的逼近為目標(biāo)，根據(jù)網(wǎng)絡(luò)權(quán)值對(duì)不同輸入分量的放大作用來(lái)確定一部分訓(xùn)練樣本，即關(guān)鍵樣本。并推導(dǎo)出了稀疏核模型的判別向量可以表示為這部分關(guān)鍵樣本在特征空間中的線性組合，這個(gè)推論對(duì)其他核方法的稀疏模型構(gòu)建具有指導(dǎo)作用。
　　KMSE雖然屬于非線性分析方法，但其實(shí)質(zhì)上是對(duì)樣本在特征空間中使用線性方法進(jìn)行回歸。回歸分析方法能夠?qū)Ω髯宰兞繉?duì)因變量貢獻(xiàn)

4、的顯著性進(jìn)行檢驗(yàn)，本文首次嘗試了將回歸分析方法用于對(duì)KMSE稀疏模型的構(gòu)建。
　　除了KMSE方法，其他核方法，比如KFDA，KPCA，同樣面臨特征抽取效率低下的問(wèn)題。本文從特征空間樣本的相關(guān)度與距離的角度，設(shè)計(jì)出了一種普遍適用的關(guān)鍵樣本選擇方法。根據(jù)推論，稀疏核模型的判別向量可以表示為這部分關(guān)鍵樣本在特征空間中的線性組合，分別推導(dǎo)出了KFDA，KPCA的稀疏模型。在基準(zhǔn)數(shù)據(jù)集上采用以上稀疏核方法進(jìn)行實(shí)驗(yàn)，本文所提出的幾種的方法能