基于稀疏學習的圖像維數(shù)約簡和目標識別方法研究.pdf

1、在科學研究的很多領域,如人臉識別、生物信息學、信息檢索等,所獲取的數(shù)據(jù)往往具有很高的維數(shù)。這使得研究人員面臨維數(shù)災難問題。由于高維空間中過高的計算代價限制了很多技術在實際問題中的使用。當訓練樣本數(shù)小于特征維數(shù)時,模型估計的性能也會大大下降。如何從高維數(shù)據(jù)中學習到一個符合實際應用需求的有效低維表示已經(jīng)成為模式識別、機器學習、數(shù)據(jù)挖掘、計算機視覺等領域的研究熱點。
　　在實踐中,人們通常使用維數(shù)約簡來處理維數(shù)災難問題。在過去幾十年中,

2、人們提出了各種各樣的維數(shù)約簡方法。然而很多流行的維數(shù)約簡方法都存在著一定的局限性,比如主分量分析(PCA)是一種很好的數(shù)據(jù)表示方法,但由于沒有利用類標信息,對分類問題來說并不是一個很可靠的方法。由于利用了類標信息,線性判別分析(LDA)在分類問題上比PCA更有效,但它至多只能提取K-1個特征(K是類別數(shù))且面臨小樣本問題。流行的局部結(jié)構(gòu)保持方法如局部保持投影(LPP)存在需要人工定義近鄰圖的問題。最近提出的稀疏結(jié)構(gòu)保持方法稀疏保持投影(

3、SPP)計算復雜度非常高。因此,本論文以稀疏學習為工具,提出了一系列有監(jiān)督和半監(jiān)督維數(shù)約簡方法以更快速更有效的學習高維數(shù)據(jù)的低維表示和一個魯棒的目標識別方法,并將所提方法成功應用于人臉識別、文本分類、遙感目標識別等實際問題。所取得的主要研究成果包括:
　　1.提出了兩種新的高效的維數(shù)約簡方法:快速稀疏保持投影(FSPP)和快速Fisher稀疏保持投影(FFSPP),它們以保持高維數(shù)據(jù)中的稀疏表示結(jié)構(gòu)為目的。已有的稀疏保持投影方法中

4、的稀疏表示結(jié)構(gòu)是通過求解n(樣本數(shù))個耗時的l1范數(shù)優(yōu)化問題來獲得的,所提的FSPP通過逐類PCA分解構(gòu)造字典并基于該字典通過矩陣向量乘來學習稀疏表示結(jié)構(gòu),這樣可以大大降低學習稀疏表示結(jié)構(gòu)的計算復雜度。FFSPP通過將Fisher約束加入到FSPP的模型中以達到同時考慮稀疏表示結(jié)構(gòu)和判別效率的目的,這進一步提升了FSPP的判別能力。所提出的兩個方法的求解最后都可歸結(jié)為一個廣義特征值問題。在公共人臉數(shù)據(jù)庫和標準文本數(shù)據(jù)庫上的實驗結(jié)果驗證了

5、所提方法的可行性和有效性。
　　2.提出了一種新的用于人臉識別的維數(shù)約簡方法稀疏正則判別分析(SRDA),其目的是同時尋找一個最優(yōu)判別子空間并保持數(shù)據(jù)的稀疏表示結(jié)構(gòu)。具體來說,SRDA首先通過逐類PCA分解構(gòu)造一個級聯(lián)字典,并基于所構(gòu)造的字典通過矩陣向量乘快速學習稀疏表示結(jié)構(gòu)。然后 SRDA通過使用學習到的稀疏表示結(jié)構(gòu)來正則化線性判別分析以達到同時考慮稀疏表示結(jié)構(gòu)和判別效率的目的。最后通過求解一個廣義特征值問題獲得數(shù)據(jù)的最優(yōu)嵌入。

6、在公共人臉數(shù)據(jù)庫上的廣泛實驗驗證了所提方法的可行性和有效性。
　　3.針對單標記圖像人臉識別問題,提出了一種基于子空間類標傳播和正則判別分析的半監(jiān)督維數(shù)約簡方法(SLPRDA)。首先,基于子空間假設設計了一種類標傳播方法,將類標信息傳播到無類標樣本上。然后,在傳播得到的帶類標數(shù)據(jù)集上使用正則判別分析對數(shù)據(jù)進行維數(shù)約簡。最后,在低維空間使用最近鄰方法對測試人臉完成識別。另外,為了提高所提方法處理非線性數(shù)據(jù)的能力,基于核方法推導出了所

7、提方法的非線性版本。在公共人臉數(shù)據(jù)庫上的實驗驗證了所提方法的可行性和有效性。
　　4.提出了一種新的半監(jiān)督維數(shù)約簡方法,雙線性回歸(DLR),以處理單標記圖像人臉識別問題。DLR在尋找最優(yōu)判別子空間的同時盡可能的保持數(shù)據(jù)潛在的稀疏表示結(jié)構(gòu)。具體來說,首先提出了一個子空間類標傳播方法(SALP)來將類標信息傳播到無類標樣本上,這一過程主要通過線性回歸(LR)完成。然后,基于傳播得到的帶類標數(shù)據(jù)集,通過線性回歸(LR)構(gòu)造一個稀疏表示

8、正則項。最后,為了同時考慮判別有效性和對稀疏表示結(jié)構(gòu)的保持,DLR使用之前構(gòu)造的稀疏表示正則項對線性判別分析進行正則化,在公共人臉數(shù)據(jù)庫上的大量實驗驗證了所提方法的有效性。
　　5.針對含有殘缺圖像的遙感圖像目標識別問題,提出了一種基于旋轉(zhuǎn)擴展和稀疏表示的目標識別方法(RETSRC)。首先對訓練集進行旋轉(zhuǎn)擴展,使得測試圖像能近似用訓練集稀疏表示,然后通過求解一個l1范數(shù)最小化問題得到測試圖像相對于訓練集的一個稀疏表示,進而根據(jù)不同