融合分類器及SVM-RFE特征選擇算法研究.pdf

1、碩士學(xué)位論文融合分類器及SVM—RFE特征選擇算法研究TheResearchofEnsembleClassifierandSVMRFEFeatureSelectionAlgorithm學(xué)21109226大連理工大學(xué)DalianUniversityofTechnology大連理工大學(xué)碩士學(xué)位論文摘要隨著科學(xué)技術(shù)進(jìn)步和發(fā)展，使得各行各業(yè)產(chǎn)生了大量數(shù)據(jù)，人類進(jìn)入了火數(shù)據(jù)時代。大量數(shù)據(jù)的產(chǎn)生對我們來說既是機遇也是挑戰(zhàn)。因此，急需我們從大量數(shù)據(jù)中

2、發(fā)現(xiàn)有用的信息來促進(jìn)生產(chǎn)力的發(fā)展。數(shù)據(jù)挖掘技術(shù)就是在這基礎(chǔ)上發(fā)展而來的。數(shù)據(jù)挖掘是一門交叉學(xué)科，它融合了模式識別，機器學(xué)習(xí)，統(tǒng)計學(xué)習(xí)，人工智能等技術(shù)。通過分析數(shù)據(jù)中的有用信息，吸取精華，去其糟粕，挖掘出數(shù)據(jù)中潛在知識。目前，數(shù)據(jù)挖掘技術(shù)廣泛應(yīng)用到基因組學(xué)、蛋白組學(xué)、代謝組學(xué)等各個領(lǐng)域。分類和特征選擇技術(shù)都是數(shù)據(jù)挖掘中常用的基本技術(shù)，在知識的發(fā)現(xiàn)和信息的提取中起到了重要作用。由于不同的分類器模型能夠從數(shù)據(jù)中挖掘出不同的信息，利用多種分類模

3、型建造融合分類器中的基分類器，充分利用各個分類器之間的互補性，增強了融合分類器中基分類器的強度和基分類器之間的多樣性。因此，本文中提出了一個基于多種分類模型的融合分類器。該融合分類器由多個融合基分類器構(gòu)成，每個融合基分類器利用三種不同的分類器(決策樹、kNN，SVM)通過加權(quán)融合而成。在公共數(shù)據(jù)集上的實驗結(jié)果表明，與其它融合分類技術(shù)和單分類器相比，本文中提出的方法在一定程度上提高了分類的準(zhǔn)確率。高維小樣本數(shù)據(jù)往往導(dǎo)致數(shù)據(jù)挖掘過程中建造模

4、型的時間增加，性能反而降低。特征選擇技術(shù)目的就是從高維數(shù)據(jù)中選擇出有用的特征，提高模型的性能。SVMRFE是一種常用的特征選擇技術(shù)，它通過迭代刪除SVM模型建造過程中權(quán)重最低的特征，有效刪除噪音特征和冗余特征。樣本分布情況能夠影響SVM模型中超平面的建立，從而影響特征選擇結(jié)果。在此基礎(chǔ)之上，本文中利用類重疊技術(shù)，計算每個樣本的重疊程度，在SVMRFE中利用重疊程度低于我們預(yù)先設(shè)定閥值的樣本去建造SVM模型，更好的計算特征權(quán)重。實驗過程中