面向醫(yī)學(xué)數(shù)據(jù)的隨機森林特征選擇及分類方法研究.pdf

1、醫(yī)學(xué)數(shù)據(jù)挖掘是數(shù)據(jù)挖掘技術(shù)的重要研究方向，多年來始終是計算機科學(xué)和醫(yī)學(xué)領(lǐng)域的研究熱點。近年來，醫(yī)學(xué)數(shù)據(jù)挖掘?qū)ο笳饾u由臨床診斷數(shù)據(jù)轉(zhuǎn)變到基因芯片數(shù)據(jù)。目前，許多優(yōu)秀的數(shù)據(jù)挖掘算法被應(yīng)用于各種醫(yī)學(xué)研究工作中，如決策樹、支持向量機和人工神經(jīng)網(wǎng)絡(luò)等。然而，醫(yī)學(xué)數(shù)據(jù)所固有的高維特征空間、高度特征冗余、特征高度相關(guān)、樣本類別不平衡等特點以及醫(yī)學(xué)研究對于數(shù)據(jù)挖掘結(jié)果的可理解性要求，使得傳統(tǒng)的數(shù)據(jù)挖掘算法難以直接應(yīng)用于醫(yī)學(xué)數(shù)據(jù)挖掘任務(wù)中。
　　

2、隨機森林算法是一種基于決策樹的集成機器學(xué)習(xí)算法。一方面，隨機森林因為具有分類精度高、運算速度快、能夠從具有小邊際效應(yīng)和復(fù)雜相互作用的特征中識別主相關(guān)特征的優(yōu)點，在醫(yī)學(xué)數(shù)據(jù)分析中得到廣泛應(yīng)用;另一方面，有研究表明隨機森林在類別不平衡數(shù)據(jù)集和高維數(shù)據(jù)集上，其分類能力和穩(wěn)定性會受到削弱。針對醫(yī)學(xué)數(shù)據(jù)集的特征高維性、冗余性、相關(guān)性以及樣本類別不平衡等問題，本文以UCI標準數(shù)據(jù)集、糖尿病臨床診斷數(shù)據(jù)集和基因芯片數(shù)據(jù)集為對象，研究了基于隨機森林的特

3、征選擇和數(shù)據(jù)分類方法，主要開展了以下幾個方面的工作。
　　首先，針對醫(yī)學(xué)數(shù)據(jù)集的樣本類別不平衡問題，提出了一種基于有放回地隨機重采樣技術(shù)和集成機器學(xué)習(xí)思想的隨機森林改進算法。該算法首先從原始訓(xùn)練數(shù)據(jù)集中利用有放回地隨機重采樣技術(shù)構(gòu)建樣本類別平衡的數(shù)據(jù)集，然后在每一個采樣數(shù)據(jù)集上訓(xùn)練隨機森林分類器，最后所有采樣數(shù)據(jù)集上生成的隨機森林分類器通過多數(shù)投票方式確定未知樣本的分類類別。在UCI數(shù)據(jù)集上的實驗結(jié)果表明，與傳統(tǒng)的基于隨機降采樣和

4、基于代價敏感的方法相比，本文提出的算法能夠有效提高分類器的分類性能尤其是少數(shù)類樣本的查全率。
　　其次，針對醫(yī)學(xué)臨床數(shù)據(jù)集的高維特征空間和特征間高度相關(guān)問題，提出了一種基于隨機森林的Filter式特征選擇算法。該算法首先基于隨機森林變量重要性分數(shù)對數(shù)據(jù)集中的特征進行排序，然后通過迭代實驗確定特征選擇的閾值，選取重要性分數(shù)最大的前若干個特征構(gòu)成特征子集，最后在選出的特征子集上訓(xùn)練分類器。在UCI數(shù)據(jù)集和糖尿病臨床數(shù)據(jù)集上的實驗結(jié)果表

5、明，基于隨機森林變量重要性分數(shù)的算法的分類性能明顯高于現(xiàn)有的基于特征子集區(qū)分度和特征相關(guān)性等度量的算法。
　　再次，針對醫(yī)學(xué)數(shù)據(jù)集特征之間高度相關(guān)和高度冗余的問題，提出了一種基于隨機森林和序列聯(lián)合搜索策略的Wrapper式特征選擇算法。該算法利用隨機森林善于從具有小邊際效應(yīng)和復(fù)雜相互作用的特征中識別主相關(guān)特征的能力，以隨機森林變量重要性分數(shù)作為特征重要性度量，采用序列后向和序列前向相結(jié)合的序列聯(lián)合特征搜索策略選擇特征子集，以特征子

6、集上分類器的分類正確率評價特征子集的質(zhì)量，最后選擇分類正確率最高的特征子集作為最優(yōu)特征子集。在UCI數(shù)據(jù)集、糖尿病臨床數(shù)據(jù)集和微陣列表達數(shù)據(jù)集上的仿真實驗表明，本文提出的算法的分類正確率和特征子集質(zhì)量均優(yōu)于基于過濾式的方法和基于其它度量的方法。
　　最后，針對微陣列表達數(shù)據(jù)集存在大量不相關(guān)特征、噪聲特征和冗余特征的問題，提出了一種基于Filter和Wrapper相結(jié)合的隨機森林特征選擇算法。該算法首先采用Filter特征選擇算法過