基因微陣列特征選擇與分類方法研究.pdf

1、本論文依托湖南省杰出青年基金項目“DNA微陣列基因選擇及腫瘤檢測方法研究”，以基因微陣列數(shù)據(jù)為主要研究對象，對特征選擇及分類算法展開研究。 20世紀90年代末，生物芯片技術(shù)隨著人類基因組的研究應(yīng)運而生。它是一種融微電子學、生物學、物理學、化學、計算機科學于一體的高度交叉的新技術(shù)，具有重大的研究價值。DNA微陣列(DNA Mieroarray)，又稱基因芯片，是基于核酸探針互補雜交技術(shù)原理開發(fā)的。由于基因芯片能夠檢測細胞基因表達水

2、平，并且具有高速度、高通量、集約化的特點，所以可以一次性對大量序列進行檢測和基因分析，從而得到高維的DNA微陣列基因表達數(shù)據(jù)。DNA微陣列數(shù)據(jù)為通過數(shù)據(jù)挖掘在基因水平進行疾病診斷、基因治療等提供了前提和可能性。在當前的腫瘤分類診斷中，腫瘤的診斷高度依賴于病理學工作者對腫瘤組織的主觀判斷，缺乏準確的診斷依據(jù)。眾所周知，腫瘤的產(chǎn)生是由于病變組織的相關(guān)的基因發(fā)生了基因突變，而突變基因的表達水平與正?；虻谋磉_水平是不一樣的。因此即使疑似病變組

3、織沒有顯著變化(即缺乏常規(guī)的病理學外觀特征)，利用基因表達譜也可以對之做出早期診斷，從而可以提高腫瘤診斷的精度。另外，利用基因芯片，還可以根據(jù)基因表達譜的變化來區(qū)分形態(tài)上相似的腫瘤，這樣有助于精確識別腫瘤類型，并根據(jù)相應(yīng)的病變基因?qū)Σ煌愋偷哪[瘤開發(fā)不同的藥物(如基因靶向藥物)，有助于提出準確的治療手段，從而增大治愈腫瘤的機會。 但是由于DNA微陣列是某組織或細胞中所有基因的表達數(shù)據(jù)，維數(shù)通常達到幾千或上萬維，而在實際臨床治療中

4、病例樣本一般較少，對于一些比較罕見的疾病，樣本數(shù)更少，從而導致基因微陣列數(shù)據(jù)維數(shù)遠高于樣本數(shù)目。這是模式識別領(lǐng)域中典型的高維小樣本問題(Small Sampie Size，SSS)。高維小樣本數(shù)據(jù)的學習和分類一直是模式識別中難點問題。主要原因在于：(1)超高維數(shù)容易導致維數(shù)災(zāi)難(Curse of Dimensionality)，從而導致學習性能嚴重下降；(2)DNA微陣列數(shù)據(jù)一般樣本數(shù)極少，使得傳統(tǒng)的基于概率的學習方法(如貝葉斯學習理論

5、)失去效能，無法進行有效的分類識別；(3)在高維數(shù)據(jù)中，大多數(shù)特征是噪聲特征，容易掩蓋數(shù)據(jù)本身的結(jié)構(gòu)(如類間差別信息等)，從而造成分類學習性能嚴重下降。因此在基因微陣列數(shù)據(jù)分析中，(1)采用適合小樣本高維數(shù)據(jù)的學習算法并提高其學習和分類的性能；(2)對高維數(shù)據(jù)進行特征選擇以降低其數(shù)據(jù)維數(shù)或者準確確定相關(guān)致病基因是基因微陣列數(shù)據(jù)分析的兩個核心任務(wù)。 無論是腫瘤檢測還是基因選擇，分類都是最核心的問題。近年來，研究人員提出了多種分類學

6、習算法，如k-NN，C4.5，多層感知器，KFDA(Kernel Fisher Discriminant Analysis)等。90年代中期，Vapnik等人提出了基于統(tǒng)計學習理論的支持向量機(SVM)算法。SVM通過最大化不同類數(shù)據(jù)之間的間隔(Margin)確定最優(yōu)分類超平面，實現(xiàn)了結(jié)構(gòu)風險最小化原則，有效克服了過學習(Overfitting)問題，具有良好的泛化性能。同時，由于SVM的分類超平面通過最大化間隔得到，因而消除了對數(shù)據(jù)正

7、態(tài)分布的要求，因而特別適合DNA微陣列等小樣本高維數(shù)據(jù)的學習和分類。SVM的另外一大優(yōu)勢是通過采用核函數(shù)(Kernel Function)，將線性不可分數(shù)據(jù)隱式映射到高維線性特征空間中，然后利用線性分類技術(shù)進行分類，很好地解決了非線性數(shù)據(jù)的分類問題?；谶@些優(yōu)點，SVM在基因表達數(shù)據(jù)分類問題上得到了廣泛的應(yīng)用。 盡管支持向量機在小樣本問題上表現(xiàn)出了良好的性能，但是如何有效確定支持向量機的模型是一個挑戰(zhàn)性問題。支持向量機是核方法(

8、Kernel Method)的典型算法，然而對于同一數(shù)據(jù)，核函數(shù)以及核函數(shù)參數(shù)的選擇，對支持向量機的分類性能有很大影響，因而需要對SVM參數(shù)進行調(diào)整，以選擇最優(yōu)的SVM參數(shù)。參數(shù)選擇又稱為模型選擇(Model Selection)，是模式識別研究的重要內(nèi)容。由于支持向量機的模型選擇本質(zhì)上是一個非凸(Non-convexity)的多模(Multimodal)問題，一般存在多個局部極值，因而難以確定全局最優(yōu)模型。傳統(tǒng)的網(wǎng)格法(Grid Se

9、arch)利用交叉驗證(Cross Validation)在整個參數(shù)空間進行網(wǎng)格搜索，該方法簡單，能夠確定一個較好的模型，但是對于較多參數(shù)的模型選擇問題，計算代價較高。梯度搜索法(Gradient Search)通過最小化SVM泛化性能界獲得最優(yōu)的SVM模型，該方法具有計算代價小，適合多參數(shù)優(yōu)化的場合。但是鑒于模型選擇的非凸性，以及梯度算法對初值的敏感性，基于梯度算法的模型選擇容易陷入局部極值問題。更為嚴重的是，如果初始參數(shù)點沒有得到正

10、確的設(shè)置，可能根本無法得到一個合適的模型。針對多模優(yōu)化問題，運用進化算法(Evolutionary Algorithms)求解是一個有效的解決途徑，然而進化算法一般都具有早熟和收斂速度慢的缺點，而且通常只能收斂到一個局部最優(yōu)點，因而無法有效解決SVM的模型優(yōu)化問題。 針對多模優(yōu)化中存在的這些問題，本文首先提出了一種混合PSO-BFGS(Broyden-Fletcher-Goldfarb-Shanno)的進化策略，能夠有效改善傳統(tǒng)

11、進化算法的瓶頸問題。作為一種典型的進化算法，粒子群優(yōu)化算法(Particle Swarm Optimization，PSO)最近得到了大量的研究，并在模式識別、電力、博弈論等領(lǐng)域得到了廣泛的應(yīng)用。通過模擬鳥類覓食行為，PSO算法具有良好的全局搜索能力和一定的收斂速率。但是在PSO中，粒子只是通過簡單的規(guī)則進行隨機搜索，沒有考慮到目標函數(shù)的梯度信息，因此收斂速度較數(shù)值優(yōu)化算法要慢得多，并且容易陷入早熟問題。PSO-BFGS結(jié)合了PSO算法

12、的全局優(yōu)化能力以及BFGS算法的局部快速收斂能力，能夠克服傳統(tǒng)PSO算法早熟、局部收斂速度慢以及只能收斂到一個極值的缺點。為了更好的結(jié)合兩者的優(yōu)點，在本文算法中，通過引入領(lǐng)域(Territory)概念以及競爭排抑(Repulsion)機制，充分利用了粒子的全局搜索能力，并利用局部多樣性指數(shù)(Local Diversity Index)動態(tài)啟動粒子的局部搜索過程，加快算法的局部收斂速度。通過在多個標準測試函數(shù)的實驗表明，本文所提出的算法能

13、夠大幅提高PSO算法的性能，加快了PSO算法的收斂速度，改善了傳統(tǒng)進化算法的早熟問題，并且能夠發(fā)現(xiàn)多個局部值點，非常適合于求解SVM的模型選擇問題。 基于混合PSO-BFGS的上述優(yōu)點，我們利用該算法對SVM模型進行優(yōu)化。在SVM模型選擇中，通常需要優(yōu)化一個描述模型泛化性能的函數(shù)。泛化性能函數(shù)對模型選擇有著很大的影響，由于留一法(Leave-one-out)錯誤率能夠?qū)Ψ夯阅苓M行無偏估計，一般采用留一法泛化性能界對模型泛化性能

14、進行估計。在已有的各種泛化性能界中，半徑-間隔界(Radius-margin Bound)具有較好的性能，因此在本文中我們采用半徑-間隔界描述模型的泛化性能。在多個標準數(shù)據(jù)集上的實驗表明，通過最小化SVM留一法泛化性能界，本文所提出的算法能夠得到比基于單一梯度法或者PSO算法更為穩(wěn)定SVM模型。 特征選擇是一種有效的數(shù)據(jù)降維技術(shù)，在微陣列數(shù)據(jù)分析中，又稱為基因選擇。與特征提取方法(如PCA)不同，特征選擇將數(shù)據(jù)投影到輸入空間的少

15、數(shù)坐標軸上，而不是投影到某個變換子空間中，本質(zhì)上屬于一個組合優(yōu)化問題。在本文中，考慮同時進行基因選擇與模型優(yōu)化，我們提出了基于遺傳算法的基因選擇與SVM模型優(yōu)化算法。在該方法中，首先利用Wilcoxon-test對微陣列數(shù)據(jù)進行預(yù)選擇，以去除大量的無關(guān)基因，從而得到一個維數(shù)減少的基因子集。然后按照留一法將新得到的基因子集分為訓練集和測試集，即依次將子集中的一個數(shù)據(jù)作為測試集，余下數(shù)據(jù)作為訓練集。在訓練集上，運用留一法錯誤率來檢測單個基因

16、的分類能力，并據(jù)此對基因進行精選，即分類能力高的基因優(yōu)先選擇，并將其加入到最終的基因子集中。最后，在新的基因子集上，運用遺傳算法來選擇最優(yōu)的SVM參數(shù)，以構(gòu)造最優(yōu)的SVM分類模型。在兩個標準數(shù)據(jù)集上的實驗表明，運用該算法，在保證其留一法分類效率為100％的條件下，可以將白血病的相關(guān)致病基因降低到2個，而乳腺癌的相關(guān)致病基因則可以降低到3個，并且算法是魯棒的。該算法的缺點是只能選擇線性特征，并且計算量較大。 只能選擇線性特征是目前

17、大多數(shù)特征選擇算法的缺點，此外，多類數(shù)據(jù)的特征選擇也是目前特征選擇算法的難點之一。針對上述兩個問題，本文提出了基于流形學習的特征評價分數(shù)，有效解決了上述兩個問題。流形學習是本世紀初發(fā)展起來的新型學習算法，主要應(yīng)用特征提取，其核心思想是將數(shù)據(jù)從高維空間投影到低維子空間時，保持數(shù)據(jù)的局部領(lǐng)域結(jié)構(gòu)不變。流形學習可以涵蓋非監(jiān)督學習，監(jiān)督學習以及半監(jiān)督學習，因而本文所提出的特征評價分數(shù)能夠擴展到監(jiān)督、非監(jiān)督以及半監(jiān)督的特征選擇問題。本文第五章首先