基因微陣列特征選擇與分類(lèi)方法研究.pdf

1、本論文依托湖南省杰出青年基金項(xiàng)目“DNA微陣列基因選擇及腫瘤檢測(cè)方法研究”，以基因微陣列數(shù)據(jù)為主要研究對(duì)象，對(duì)特征選擇及分類(lèi)算法展開(kāi)研究。 20世紀(jì)90年代末，生物芯片技術(shù)隨著人類(lèi)基因組的研究應(yīng)運(yùn)而生。它是一種融微電子學(xué)、生物學(xué)、物理學(xué)、化學(xué)、計(jì)算機(jī)科學(xué)于一體的高度交叉的新技術(shù)，具有重大的研究?jī)r(jià)值。DNA微陣列(DNA Mieroarray)，又稱(chēng)基因芯片，是基于核酸探針互補(bǔ)雜交技術(shù)原理開(kāi)發(fā)的。由于基因芯片能夠檢測(cè)細(xì)胞基因表達(dá)水

2、平，并且具有高速度、高通量、集約化的特點(diǎn)，所以可以一次性對(duì)大量序列進(jìn)行檢測(cè)和基因分析，從而得到高維的DNA微陣列基因表達(dá)數(shù)據(jù)。DNA微陣列數(shù)據(jù)為通過(guò)數(shù)據(jù)挖掘在基因水平進(jìn)行疾病診斷、基因治療等提供了前提和可能性。在當(dāng)前的腫瘤分類(lèi)診斷中，腫瘤的診斷高度依賴(lài)于病理學(xué)工作者對(duì)腫瘤組織的主觀(guān)判斷，缺乏準(zhǔn)確的診斷依據(jù)。眾所周知，腫瘤的產(chǎn)生是由于病變組織的相關(guān)的基因發(fā)生了基因突變，而突變基因的表達(dá)水平與正?；虻谋磉_(dá)水平是不一樣的。因此即使疑似病變組

3、織沒(méi)有顯著變化(即缺乏常規(guī)的病理學(xué)外觀(guān)特征)，利用基因表達(dá)譜也可以對(duì)之做出早期診斷，從而可以提高腫瘤診斷的精度。另外，利用基因芯片，還可以根據(jù)基因表達(dá)譜的變化來(lái)區(qū)分形態(tài)上相似的腫瘤，這樣有助于精確識(shí)別腫瘤類(lèi)型，并根據(jù)相應(yīng)的病變基因?qū)Σ煌?lèi)型的腫瘤開(kāi)發(fā)不同的藥物(如基因靶向藥物)，有助于提出準(zhǔn)確的治療手段，從而增大治愈腫瘤的機(jī)會(huì)。 但是由于DNA微陣列是某組織或細(xì)胞中所有基因的表達(dá)數(shù)據(jù)，維數(shù)通常達(dá)到幾千或上萬(wàn)維，而在實(shí)際臨床治療中

4、病例樣本一般較少，對(duì)于一些比較罕見(jiàn)的疾病，樣本數(shù)更少，從而導(dǎo)致基因微陣列數(shù)據(jù)維數(shù)遠(yuǎn)高于樣本數(shù)目。這是模式識(shí)別領(lǐng)域中典型的高維小樣本問(wèn)題(Small Sampie Size，SSS)。高維小樣本數(shù)據(jù)的學(xué)習(xí)和分類(lèi)一直是模式識(shí)別中難點(diǎn)問(wèn)題。主要原因在于：(1)超高維數(shù)容易導(dǎo)致維數(shù)災(zāi)難(Curse of Dimensionality)，從而導(dǎo)致學(xué)習(xí)性能?chē)?yán)重下降；(2)DNA微陣列數(shù)據(jù)一般樣本數(shù)極少，使得傳統(tǒng)的基于概率的學(xué)習(xí)方法(如貝葉斯學(xué)習(xí)理論

5、)失去效能，無(wú)法進(jìn)行有效的分類(lèi)識(shí)別；(3)在高維數(shù)據(jù)中，大多數(shù)特征是噪聲特征，容易掩蓋數(shù)據(jù)本身的結(jié)構(gòu)(如類(lèi)間差別信息等)，從而造成分類(lèi)學(xué)習(xí)性能?chē)?yán)重下降。因此在基因微陣列數(shù)據(jù)分析中，(1)采用適合小樣本高維數(shù)據(jù)的學(xué)習(xí)算法并提高其學(xué)習(xí)和分類(lèi)的性能；(2)對(duì)高維數(shù)據(jù)進(jìn)行特征選擇以降低其數(shù)據(jù)維數(shù)或者準(zhǔn)確確定相關(guān)致病基因是基因微陣列數(shù)據(jù)分析的兩個(gè)核心任務(wù)。 無(wú)論是腫瘤檢測(cè)還是基因選擇，分類(lèi)都是最核心的問(wèn)題。近年來(lái)，研究人員提出了多種分類(lèi)學(xué)

6、習(xí)算法，如k-NN，C4.5，多層感知器，KFDA(Kernel Fisher Discriminant Analysis)等。90年代中期，Vapnik等人提出了基于統(tǒng)計(jì)學(xué)習(xí)理論的支持向量機(jī)(SVM)算法。SVM通過(guò)最大化不同類(lèi)數(shù)據(jù)之間的間隔(Margin)確定最優(yōu)分類(lèi)超平面，實(shí)現(xiàn)了結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，有效克服了過(guò)學(xué)習(xí)(Overfitting)問(wèn)題，具有良好的泛化性能。同時(shí)，由于SVM的分類(lèi)超平面通過(guò)最大化間隔得到，因而消除了對(duì)數(shù)據(jù)正

7、態(tài)分布的要求，因而特別適合DNA微陣列等小樣本高維數(shù)據(jù)的學(xué)習(xí)和分類(lèi)。SVM的另外一大優(yōu)勢(shì)是通過(guò)采用核函數(shù)(Kernel Function)，將線(xiàn)性不可分?jǐn)?shù)據(jù)隱式映射到高維線(xiàn)性特征空間中，然后利用線(xiàn)性分類(lèi)技術(shù)進(jìn)行分類(lèi)，很好地解決了非線(xiàn)性數(shù)據(jù)的分類(lèi)問(wèn)題?；谶@些優(yōu)點(diǎn)，SVM在基因表達(dá)數(shù)據(jù)分類(lèi)問(wèn)題上得到了廣泛的應(yīng)用。 盡管支持向量機(jī)在小樣本問(wèn)題上表現(xiàn)出了良好的性能，但是如何有效確定支持向量機(jī)的模型是一個(gè)挑戰(zhàn)性問(wèn)題。支持向量機(jī)是核方法(

8、Kernel Method)的典型算法，然而對(duì)于同一數(shù)據(jù)，核函數(shù)以及核函數(shù)參數(shù)的選擇，對(duì)支持向量機(jī)的分類(lèi)性能有很大影響，因而需要對(duì)SVM參數(shù)進(jìn)行調(diào)整，以選擇最優(yōu)的SVM參數(shù)。參數(shù)選擇又稱(chēng)為模型選擇(Model Selection)，是模式識(shí)別研究的重要內(nèi)容。由于支持向量機(jī)的模型選擇本質(zhì)上是一個(gè)非凸(Non-convexity)的多模(Multimodal)問(wèn)題，一般存在多個(gè)局部極值，因而難以確定全局最優(yōu)模型。傳統(tǒng)的網(wǎng)格法(Grid Se

9、arch)利用交叉驗(yàn)證(Cross Validation)在整個(gè)參數(shù)空間進(jìn)行網(wǎng)格搜索，該方法簡(jiǎn)單，能夠確定一個(gè)較好的模型，但是對(duì)于較多參數(shù)的模型選擇問(wèn)題，計(jì)算代價(jià)較高。梯度搜索法(Gradient Search)通過(guò)最小化SVM泛化性能界獲得最優(yōu)的SVM模型，該方法具有計(jì)算代價(jià)小，適合多參數(shù)優(yōu)化的場(chǎng)合。但是鑒于模型選擇的非凸性，以及梯度算法對(duì)初值的敏感性，基于梯度算法的模型選擇容易陷入局部極值問(wèn)題。更為嚴(yán)重的是，如果初始參數(shù)點(diǎn)沒(méi)有得到正

10、確的設(shè)置，可能根本無(wú)法得到一個(gè)合適的模型。針對(duì)多模優(yōu)化問(wèn)題，運(yùn)用進(jìn)化算法(Evolutionary Algorithms)求解是一個(gè)有效的解決途徑，然而進(jìn)化算法一般都具有早熟和收斂速度慢的缺點(diǎn)，而且通常只能收斂到一個(gè)局部最優(yōu)點(diǎn)，因而無(wú)法有效解決SVM的模型優(yōu)化問(wèn)題。 針對(duì)多模優(yōu)化中存在的這些問(wèn)題，本文首先提出了一種混合PSO-BFGS(Broyden-Fletcher-Goldfarb-Shanno)的進(jìn)化策略，能夠有效改善傳統(tǒng)

11、進(jìn)化算法的瓶頸問(wèn)題。作為一種典型的進(jìn)化算法，粒子群優(yōu)化算法(Particle Swarm Optimization，PSO)最近得到了大量的研究，并在模式識(shí)別、電力、博弈論等領(lǐng)域得到了廣泛的應(yīng)用。通過(guò)模擬鳥(niǎo)類(lèi)覓食行為，PSO算法具有良好的全局搜索能力和一定的收斂速率。但是在PSO中，粒子只是通過(guò)簡(jiǎn)單的規(guī)則進(jìn)行隨機(jī)搜索，沒(méi)有考慮到目標(biāo)函數(shù)的梯度信息，因此收斂速度較數(shù)值優(yōu)化算法要慢得多，并且容易陷入早熟問(wèn)題。PSO-BFGS結(jié)合了PSO算法

12、的全局優(yōu)化能力以及BFGS算法的局部快速收斂能力，能夠克服傳統(tǒng)PSO算法早熟、局部收斂速度慢以及只能收斂到一個(gè)極值的缺點(diǎn)。為了更好的結(jié)合兩者的優(yōu)點(diǎn)，在本文算法中，通過(guò)引入領(lǐng)域(Territory)概念以及競(jìng)爭(zhēng)排抑(Repulsion)機(jī)制，充分利用了粒子的全局搜索能力，并利用局部多樣性指數(shù)(Local Diversity Index)動(dòng)態(tài)啟動(dòng)粒子的局部搜索過(guò)程，加快算法的局部收斂速度。通過(guò)在多個(gè)標(biāo)準(zhǔn)測(cè)試函數(shù)的實(shí)驗(yàn)表明，本文所提出的算法能

13、夠大幅提高PSO算法的性能，加快了PSO算法的收斂速度，改善了傳統(tǒng)進(jìn)化算法的早熟問(wèn)題，并且能夠發(fā)現(xiàn)多個(gè)局部值點(diǎn)，非常適合于求解SVM的模型選擇問(wèn)題。 基于混合PSO-BFGS的上述優(yōu)點(diǎn)，我們利用該算法對(duì)SVM模型進(jìn)行優(yōu)化。在SVM模型選擇中，通常需要優(yōu)化一個(gè)描述模型泛化性能的函數(shù)。泛化性能函數(shù)對(duì)模型選擇有著很大的影響，由于留一法(Leave-one-out)錯(cuò)誤率能夠?qū)Ψ夯阅苓M(jìn)行無(wú)偏估計(jì)，一般采用留一法泛化性能界對(duì)模型泛化性能

14、進(jìn)行估計(jì)。在已有的各種泛化性能界中，半徑-間隔界(Radius-margin Bound)具有較好的性能，因此在本文中我們采用半徑-間隔界描述模型的泛化性能。在多個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)表明，通過(guò)最小化SVM留一法泛化性能界，本文所提出的算法能夠得到比基于單一梯度法或者PSO算法更為穩(wěn)定SVM模型。 特征選擇是一種有效的數(shù)據(jù)降維技術(shù)，在微陣列數(shù)據(jù)分析中，又稱(chēng)為基因選擇。與特征提取方法(如PCA)不同，特征選擇將數(shù)據(jù)投影到輸入空間的少

15、數(shù)坐標(biāo)軸上，而不是投影到某個(gè)變換子空間中，本質(zhì)上屬于一個(gè)組合優(yōu)化問(wèn)題。在本文中，考慮同時(shí)進(jìn)行基因選擇與模型優(yōu)化，我們提出了基于遺傳算法的基因選擇與SVM模型優(yōu)化算法。在該方法中，首先利用Wilcoxon-test對(duì)微陣列數(shù)據(jù)進(jìn)行預(yù)選擇，以去除大量的無(wú)關(guān)基因，從而得到一個(gè)維數(shù)減少的基因子集。然后按照留一法將新得到的基因子集分為訓(xùn)練集和測(cè)試集，即依次將子集中的一個(gè)數(shù)據(jù)作為測(cè)試集，余下數(shù)據(jù)作為訓(xùn)練集。在訓(xùn)練集上，運(yùn)用留一法錯(cuò)誤率來(lái)檢測(cè)單個(gè)基因

16、的分類(lèi)能力，并據(jù)此對(duì)基因進(jìn)行精選，即分類(lèi)能力高的基因優(yōu)先選擇，并將其加入到最終的基因子集中。最后，在新的基因子集上，運(yùn)用遺傳算法來(lái)選擇最優(yōu)的SVM參數(shù)，以構(gòu)造最優(yōu)的SVM分類(lèi)模型。在兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)表明，運(yùn)用該算法，在保證其留一法分類(lèi)效率為100％的條件下，可以將白血病的相關(guān)致病基因降低到2個(gè)，而乳腺癌的相關(guān)致病基因則可以降低到3個(gè)，并且算法是魯棒的。該算法的缺點(diǎn)是只能選擇線(xiàn)性特征，并且計(jì)算量較大。 只能選擇線(xiàn)性特征是目前

17、大多數(shù)特征選擇算法的缺點(diǎn)，此外，多類(lèi)數(shù)據(jù)的特征選擇也是目前特征選擇算法的難點(diǎn)之一。針對(duì)上述兩個(gè)問(wèn)題，本文提出了基于流形學(xué)習(xí)的特征評(píng)價(jià)分?jǐn)?shù)，有效解決了上述兩個(gè)問(wèn)題。流形學(xué)習(xí)是本世紀(jì)初發(fā)展起來(lái)的新型學(xué)習(xí)算法，主要應(yīng)用特征提取，其核心思想是將數(shù)據(jù)從高維空間投影到低維子空間時(shí)，保持?jǐn)?shù)據(jù)的局部領(lǐng)域結(jié)構(gòu)不變。流形學(xué)習(xí)可以涵蓋非監(jiān)督學(xué)習(xí)，監(jiān)督學(xué)習(xí)以及半監(jiān)督學(xué)習(xí)，因而本文所提出的特征評(píng)價(jià)分?jǐn)?shù)能夠擴(kuò)展到監(jiān)督、非監(jiān)督以及半監(jiān)督的特征選擇問(wèn)題。本文第五章首先