高維數(shù)據(jù)的特征選擇與特征提取研究.pdf

1、隨著科技的發(fā)展,模式識別或模式分類在越來越多的社會生活中得到了應(yīng)用。模式識別領(lǐng)域中,存在大量針對高維數(shù)據(jù)的識別問題,如生物信息數(shù)據(jù)識別、人臉識別、數(shù)字手寫體識別等。高維數(shù)據(jù)的出現(xiàn)為模式識別提出了新的挑戰(zhàn),其不僅難以被人們直觀理解,而且為模式識別中的特征選擇與特征提取環(huán)節(jié)帶來了新的“維數(shù)災(zāi)難”。如何從高維數(shù)據(jù)中選擇或提取對識別或分類有效的特征已成為當(dāng)前的研究熱點(diǎn)和難點(diǎn)。本文對模式識別中高維數(shù)據(jù)的特征選擇與特征提取算法進(jìn)行了研究,主要工作包

2、括以下幾個(gè)方面:
　　 1.提出了一種多重遺傳算法,用于疾病相關(guān)的單核苷酸多態(tài)性的選擇。運(yùn)用統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法研究大規(guī)模單核苷酸多態(tài)性與復(fù)雜疾病的關(guān)聯(lián)關(guān)系,首要的工作是把大規(guī)模單核苷酸多態(tài)性縮減為較小集合,從中提取出包含冗余信息較少的特征單核苷酸多態(tài)性。為此,提出了用互信息衡量單核苷酸多態(tài)性與疾病間關(guān)聯(lián)的緊密程度并將其作為遺傳算法的適應(yīng)值,通過多次運(yùn)用遺傳算法并合并相應(yīng)的尋優(yōu)結(jié)果得到候選的特征單核苷酸多態(tài)性集合。在單核苷酸多態(tài)性仿

3、真數(shù)據(jù)上的實(shí)驗(yàn)及與最大熵方法性能比較表明,該方法最大可能丟棄了與疾病無關(guān)的單核苷酸多態(tài)性,保留了與疾病相關(guān)的單核苷酸多態(tài)性,為進(jìn)一步研究提供了合適規(guī)模的單核苷酸多態(tài)性,本方法可用于中等或較大規(guī)模的單核苷酸多態(tài)性數(shù)據(jù)。
　　 2.提出了二次投影識別蛋白質(zhì)譜數(shù)據(jù)的新方法。作為一種蛋白質(zhì)組學(xué)工具,質(zhì)譜法的使用對疾病的早期診斷和治療帶來了革命性的變化。然而,由于蛋白質(zhì)譜數(shù)據(jù)高達(dá)上萬維,現(xiàn)有的機(jī)器學(xué)習(xí)方法不能直接用于識別蛋白質(zhì)譜數(shù)據(jù),同時(shí)

4、也面臨著識別性能較低的問題。借鑒具有良好降維性能的主成分分析與局部線性判別嵌入兩種方法,提出了用于蛋白質(zhì)譜數(shù)據(jù)識別的二次投影法。該方法對高維數(shù)據(jù)先進(jìn)行去噪與T檢驗(yàn)降維,再用主成分分析獲取第一次投影的低維特征向量,隨后用局部線性判別嵌入獲取可分性最好的第二次投影特征向量。此外,還對局部線性判別嵌入方法進(jìn)行修改,得到一種改進(jìn)的二次投影法。二種方法在卵巢癌蛋白質(zhì)譜數(shù)據(jù)上的實(shí)驗(yàn)表明識別性能較好。
　　 3.為了發(fā)現(xiàn)高維樣本的非線性流形結(jié)

5、構(gòu),對人臉識別與數(shù)字手寫體識別問題,提出了基于流形學(xué)習(xí)的新的特征提取算法。
　　 (1)結(jié)合現(xiàn)有數(shù)據(jù)局部幾何結(jié)構(gòu)保持方法,并使類內(nèi)散度最小和類間散度最大,達(dá)到提取最優(yōu)分類特征信息的目的,提出了兩種集成最大邊界準(zhǔn)則的人臉圖像特征提取算法,分別是保局判別分析算法與線性局部切空間判別分析算法。實(shí)驗(yàn)表明,提出的算法可以發(fā)現(xiàn)數(shù)據(jù)集中的非線性流形結(jié)構(gòu)并在降維的同時(shí)盡可能地保持這些結(jié)構(gòu)信息,還能使數(shù)據(jù)的分類邊界最大化,提取到了最優(yōu)的分類特征信

6、息。
　　 (2)最大差異伸展是一種最近提出的流形學(xué)習(xí)算法,將其用于模式識別領(lǐng)域還存在不能處理新樣本等限制。利用線性變換的思想,在最大差異伸展的基礎(chǔ)上,提出了一種新的線性特征提取算法——線性最大差異伸展。該算法利用提取的特征信息把新的測試樣本直接線性變換到低維子空間,并能較好地保留局部近鄰的信息。
　　 (3)為了解決局部線性嵌入方法不能處理新樣本等局限,把一幅人臉圖像或數(shù)字手寫體圖像直接作為一個(gè)二維數(shù)據(jù)矩陣處理,不再轉(zhuǎn)

7、換為列向量,提出了基于二維圖像的特征提取算法——二維局部線性嵌入算法。二維處理的思想通過直接在圖像矩陣上運(yùn)算有效地降低了局部線性嵌入算法的復(fù)雜度,同時(shí),在降維中又保持了原方法把高維流形嵌入到低維空間的優(yōu)點(diǎn),而且具有處理新測試樣本的能力。從實(shí)驗(yàn)結(jié)果來看,局部線性嵌入對近鄰個(gè)數(shù)敏感的特性也有效的得到了改善。
　　 本文提出的特征選擇或特征提取算法,主要用于模式分類任務(wù),在各自的應(yīng)用領(lǐng)域做了相應(yīng)的仿真實(shí)驗(yàn),與現(xiàn)有相應(yīng)算法相比,取得了較