面向醫(yī)學(xué)數(shù)據(jù)的隨機(jī)森林特征選擇及分類(lèi)方法研究.pdf

1、醫(yī)學(xué)數(shù)據(jù)挖掘是數(shù)據(jù)挖掘技術(shù)的重要研究方向，多年來(lái)始終是計(jì)算機(jī)科學(xué)和醫(yī)學(xué)領(lǐng)域的研究熱點(diǎn)。近年來(lái)，醫(yī)學(xué)數(shù)據(jù)挖掘?qū)ο笳饾u由臨床診斷數(shù)據(jù)轉(zhuǎn)變到基因芯片數(shù)據(jù)。目前，許多優(yōu)秀的數(shù)據(jù)挖掘算法被應(yīng)用于各種醫(yī)學(xué)研究工作中，如決策樹(shù)、支持向量機(jī)和人工神經(jīng)網(wǎng)絡(luò)等。然而，醫(yī)學(xué)數(shù)據(jù)所固有的高維特征空間、高度特征冗余、特征高度相關(guān)、樣本類(lèi)別不平衡等特點(diǎn)以及醫(yī)學(xué)研究對(duì)于數(shù)據(jù)挖掘結(jié)果的可理解性要求，使得傳統(tǒng)的數(shù)據(jù)挖掘算法難以直接應(yīng)用于醫(yī)學(xué)數(shù)據(jù)挖掘任務(wù)中。
　　

2、隨機(jī)森林算法是一種基于決策樹(shù)的集成機(jī)器學(xué)習(xí)算法。一方面，隨機(jī)森林因?yàn)榫哂蟹诸?lèi)精度高、運(yùn)算速度快、能夠從具有小邊際效應(yīng)和復(fù)雜相互作用的特征中識(shí)別主相關(guān)特征的優(yōu)點(diǎn)，在醫(yī)學(xué)數(shù)據(jù)分析中得到廣泛應(yīng)用;另一方面，有研究表明隨機(jī)森林在類(lèi)別不平衡數(shù)據(jù)集和高維數(shù)據(jù)集上，其分類(lèi)能力和穩(wěn)定性會(huì)受到削弱。針對(duì)醫(yī)學(xué)數(shù)據(jù)集的特征高維性、冗余性、相關(guān)性以及樣本類(lèi)別不平衡等問(wèn)題，本文以UCI標(biāo)準(zhǔn)數(shù)據(jù)集、糖尿病臨床診斷數(shù)據(jù)集和基因芯片數(shù)據(jù)集為對(duì)象，研究了基于隨機(jī)森林的特

3、征選擇和數(shù)據(jù)分類(lèi)方法，主要開(kāi)展了以下幾個(gè)方面的工作。
　　首先，針對(duì)醫(yī)學(xué)數(shù)據(jù)集的樣本類(lèi)別不平衡問(wèn)題，提出了一種基于有放回地隨機(jī)重采樣技術(shù)和集成機(jī)器學(xué)習(xí)思想的隨機(jī)森林改進(jìn)算法。該算法首先從原始訓(xùn)練數(shù)據(jù)集中利用有放回地隨機(jī)重采樣技術(shù)構(gòu)建樣本類(lèi)別平衡的數(shù)據(jù)集，然后在每一個(gè)采樣數(shù)據(jù)集上訓(xùn)練隨機(jī)森林分類(lèi)器，最后所有采樣數(shù)據(jù)集上生成的隨機(jī)森林分類(lèi)器通過(guò)多數(shù)投票方式確定未知樣本的分類(lèi)類(lèi)別。在UCI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的基于隨機(jī)降采樣和

4、基于代價(jià)敏感的方法相比，本文提出的算法能夠有效提高分類(lèi)器的分類(lèi)性能尤其是少數(shù)類(lèi)樣本的查全率。
　　其次，針對(duì)醫(yī)學(xué)臨床數(shù)據(jù)集的高維特征空間和特征間高度相關(guān)問(wèn)題，提出了一種基于隨機(jī)森林的Filter式特征選擇算法。該算法首先基于隨機(jī)森林變量重要性分?jǐn)?shù)對(duì)數(shù)據(jù)集中的特征進(jìn)行排序，然后通過(guò)迭代實(shí)驗(yàn)確定特征選擇的閾值，選取重要性分?jǐn)?shù)最大的前若干個(gè)特征構(gòu)成特征子集，最后在選出的特征子集上訓(xùn)練分類(lèi)器。在UCI數(shù)據(jù)集和糖尿病臨床數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表

5、明，基于隨機(jī)森林變量重要性分?jǐn)?shù)的算法的分類(lèi)性能明顯高于現(xiàn)有的基于特征子集區(qū)分度和特征相關(guān)性等度量的算法。
　　再次，針對(duì)醫(yī)學(xué)數(shù)據(jù)集特征之間高度相關(guān)和高度冗余的問(wèn)題，提出了一種基于隨機(jī)森林和序列聯(lián)合搜索策略的Wrapper式特征選擇算法。該算法利用隨機(jī)森林善于從具有小邊際效應(yīng)和復(fù)雜相互作用的特征中識(shí)別主相關(guān)特征的能力，以隨機(jī)森林變量重要性分?jǐn)?shù)作為特征重要性度量，采用序列后向和序列前向相結(jié)合的序列聯(lián)合特征搜索策略選擇特征子集，以特征子

6、集上分類(lèi)器的分類(lèi)正確率評(píng)價(jià)特征子集的質(zhì)量，最后選擇分類(lèi)正確率最高的特征子集作為最優(yōu)特征子集。在UCI數(shù)據(jù)集、糖尿病臨床數(shù)據(jù)集和微陣列表達(dá)數(shù)據(jù)集上的仿真實(shí)驗(yàn)表明，本文提出的算法的分類(lèi)正確率和特征子集質(zhì)量均優(yōu)于基于過(guò)濾式的方法和基于其它度量的方法。
　　最后，針對(duì)微陣列表達(dá)數(shù)據(jù)集存在大量不相關(guān)特征、噪聲特征和冗余特征的問(wèn)題，提出了一種基于Filter和Wrapper相結(jié)合的隨機(jī)森林特征選擇算法。該算法首先采用Filter特征選擇算法過(guò)