維數(shù)約簡(jiǎn)研究及其在特征提取中的應(yīng)用.pdf

1、面對(duì)日益增長的海量數(shù)據(jù),人們?cè)絹碓蕉嗟匾蕾囉?jì)算機(jī)智能化地從數(shù)據(jù)中得到問題解決所需要的有用信息。作為智能化數(shù)據(jù)分析的重要手段,維數(shù)約簡(jiǎn)技術(shù)不僅有效減低了處理過程的計(jì)算復(fù)雜度,也顯著提高了數(shù)據(jù)分析的準(zhǔn)確性和有效性。維數(shù)約簡(jiǎn)技術(shù)廣泛應(yīng)用于模式識(shí)別和計(jì)算機(jī)視覺領(lǐng)域,其中基于維數(shù)約簡(jiǎn)的特征提取已成為解決諸多相關(guān)問題的關(guān)鍵因素。盡管關(guān)于維數(shù)約簡(jiǎn)的研究已取得豐富的成果,但當(dāng)前數(shù)據(jù)呈現(xiàn)出的高維數(shù)和多模態(tài)特點(diǎn)帶來了新的挑戰(zhàn)。在人臉圖像識(shí)別、視頻序列分析、

2、文本與圖像檢索等實(shí)際應(yīng)用的驅(qū)動(dòng)下,維數(shù)約簡(jiǎn)技術(shù)通過對(duì)現(xiàn)有方法進(jìn)行完善或探索新的理論方法獲得了進(jìn)一步的發(fā)展。
　　 本文立足于當(dāng)前的數(shù)據(jù)形勢(shì),深入研究了關(guān)于向量數(shù)據(jù)和高階數(shù)據(jù)的維數(shù)約簡(jiǎn)技術(shù)及其在特征提取中的應(yīng)用問題。作為維數(shù)約簡(jiǎn)研究的一些新成果,本文提出的算法在數(shù)據(jù)可視化和人臉識(shí)別中得到了較好的應(yīng)用。流形嵌入是目前非監(jiān)督向量數(shù)據(jù)降維的研究熱點(diǎn),在探索數(shù)據(jù)的潛在結(jié)構(gòu)上該方法具有優(yōu)勢(shì)。然而流形嵌入方法無法獲得數(shù)據(jù)空間到低維特征空間的顯

3、式映射關(guān)系,故難于對(duì)新數(shù)據(jù)進(jìn)行維數(shù)約簡(jiǎn)。針對(duì)這個(gè)問題,本文提出了面向流形的隨機(jī)近鄰?fù)队?MSNP)用于非監(jiān)督特征提取。MSNP算法在隨機(jī)近鄰嵌入(SNE)算法的啟發(fā)下提出,基本想法是改善SNE算法的非線性流形展開能力和用顯式的線性投影近似流形嵌入的非線性映射以適于特征提取任務(wù)。
　　 本文分析了SNE算法的不足,在以下三個(gè)方面進(jìn)行了改進(jìn)和完善：⑴提出在數(shù)據(jù)空間中用測(cè)地線距離代替歐氏距離構(gòu)建隨機(jī)近鄰選擇概率,從而提高了描述數(shù)據(jù)相似

4、關(guān)系的準(zhǔn)確性。⑵提出在低維特征空間使用柯西分布代替學(xué)生t分布構(gòu)建隨機(jī)近鄰選擇概率,以增強(qiáng)算法對(duì)數(shù)據(jù)的適應(yīng)性。⑶在近鄰概率分布保持的原則下引入線性投影得解決了新樣本的維數(shù)約簡(jiǎn)問題,同時(shí)基于共軛梯度的迭代解法簡(jiǎn)明直觀并具有比SNE更快的收斂速度。本文通過數(shù)據(jù)可視化、人臉識(shí)別和掌紋識(shí)別實(shí)驗(yàn)考察了MSNP的算法性能,包括投影基的性質(zhì)、算法收斂性和特征提取能力。實(shí)驗(yàn)結(jié)果證明本文所提出的MSNP算法是一種有效的非監(jiān)督向量數(shù)據(jù)降維方法,具有挖掘數(shù)據(jù)復(fù)

5、雜模式的能力。在監(jiān)督化向量數(shù)據(jù)降維方面,局部化線性鑒別分析方法考慮了數(shù)據(jù)的局部結(jié)構(gòu)信息,提取鑒別特征的能力強(qiáng)于傳統(tǒng)的全局線性鑒別方法。經(jīng)過深入研究,本文發(fā)現(xiàn)已有的局部化線性鑒別方法普遍存在模型參數(shù)多且不易設(shè)置的問題。針對(duì)此問題,本文對(duì)局部線性鑒別分析的自適應(yīng)問題進(jìn)行了探索研究。
　　 本文提出了由同類局部近鄰樣本確定的局部鄰域概念,其中的異類近鄰樣本能夠自動(dòng)被確定。在新的局部鄰域內(nèi),同類和異類樣本的分布反映了數(shù)據(jù)集不同局部的數(shù)據(jù)

6、特性。據(jù)此,本文發(fā)展出了一種自適應(yīng)的局部線性鑒別方法。該方法采用差分鑒別模型,模型中反映同類樣本和異類樣本權(quán)重的參數(shù)由局部近鄰的特性自動(dòng)設(shè)置。由于只需要同類近鄰樣本數(shù)這一個(gè)參數(shù),本文提出的算法大大提高了局部線性鑒別分析在特征提取上的可用性。通過對(duì)人臉識(shí)別實(shí)驗(yàn)結(jié)果的分析,本文發(fā)現(xiàn)與已有的局部線性鑒別算法相比,所提出的自適應(yīng)算法多數(shù)情況下能提升所得特征的鑒別能力,即便在訓(xùn)練數(shù)據(jù)極端少的情況下也取得了與已有方法相當(dāng)?shù)淖R(shí)別效果。對(duì)于如圖像和視頻

7、這一類的高階數(shù)據(jù),近幾年興起的張量化維數(shù)約簡(jiǎn)方法基于數(shù)據(jù)的張量模型利用多重線性投影以獲得數(shù)據(jù)的線性結(jié)構(gòu)。盡管也出現(xiàn)了如張量LPP和張量NPE這樣的方法試圖獲取張量數(shù)據(jù)的非線性結(jié)構(gòu)信息,但基于多重線性投影的降維方式導(dǎo)致非線性結(jié)構(gòu)信息在降維過程中不可避免地遭到損失。本文從張量數(shù)據(jù)采樣自低維非線性流形的假設(shè)出發(fā),提出了一種直接獲得張量數(shù)據(jù)的低維嵌入(即參數(shù)化坐標(biāo))的非監(jiān)督降維算法。該算法利用局部秩一張量投影所得到的低維向量來刻畫張量數(shù)據(jù)的局部

8、線性結(jié)構(gòu),然后在局部坐標(biāo)全局化排列的原則下由局部仿射變換得到張量的全局性低維表示。由于維數(shù)約簡(jiǎn)過程依賴于一個(gè)非線性映射,本文提出的算法能有效挖掘張量數(shù)據(jù)的非線性結(jié)構(gòu)。
　　 本文基于數(shù)值插值方法給出了張量嵌入的一種泛化方案。數(shù)據(jù)可視化的實(shí)驗(yàn)結(jié)果表明,本文提出的張量嵌入方法能有效發(fā)現(xiàn)張量數(shù)據(jù)流形的潛在結(jié)構(gòu),而人臉圖像識(shí)別上的實(shí)驗(yàn)結(jié)果證明所提算法經(jīng)過泛化擴(kuò)展后能從張量數(shù)據(jù)中提取出有效的模式特征。針對(duì)張量數(shù)據(jù)的監(jiān)督化特征提取問題,提出

9、了一種新的張量化降維算法一“局部鑒別化正交秩-張量投影”(LDOROTP)。該算法的目標(biāo)是從張量數(shù)據(jù)中提取出緊湊的特征并同時(shí)賦予特征相當(dāng)?shù)蔫b別能力。LDOROTP算法通過正交秩一張量投影獲得張量數(shù)據(jù)的向量形式的特征,并通過局部鑒別分析求取最優(yōu)的投影張量基。與已有的算法相比,本文所提出的算法創(chuàng)新點(diǎn)在于：⑴局部鑒別分析采用所有的同類樣本和適當(dāng)數(shù)量的異類近鄰樣本;⑵在局部鄰接圖中引入新的加權(quán)函數(shù)對(duì)局部鑒別信息進(jìn)行編碼。LDOROTP算法的目標(biāo)