基于規(guī)則的組合分類器的研究.pdf

1、分類是數(shù)據(jù)挖掘的重要研究課題之一.它廣泛地應用于科學實驗和商業(yè)預測等領域。如何提高分類模型的準確率是分類的核心問題,組合分類模型在理論和實驗中比單個分類模型有著明顯的優(yōu)勢。本文以規(guī)則分類為基礎,深入探討了基于規(guī)則的組合分類器。
　　 常見的Bagging和Boosting主要是基于有放回抽樣。在小樣本數(shù)據(jù)集上該抽樣可能引起信息丟失,造成基分類器準確率下降,從而影響整體分類性能。因此,本文使用全部的數(shù)據(jù)集建立基分類器,保證了信息的

2、完整性,從而使基分類器有著較高的準確率。
　　 基于上述思想,本文提出了一種使用基于規(guī)則的基分類器建立組合分類器的新方法PCARules。盡管本文的方法也采用基分類器預測的加權投票來決定待分類樣本的類,但是本文為基分類器創(chuàng)建訓練數(shù)據(jù)集的方法與Bagging和Boosting完全不同。本文的方法不是通過抽樣為基分類器創(chuàng)建數(shù)據(jù)集,而是隨機地將特征劃分成k個子集,使用PCA得到每個子集的主成分,形成新的特征空間,并將所有訓練數(shù)據(jù)映射到

3、新的特征空間作為基分類器的訓練集。在UCI機器學習庫的30個隨機選取的數(shù)據(jù)集上的實驗表明:本文的算法不僅能夠顯著提高基于規(guī)則的分類方法的分類性能,而且與Bagging和Boosting等傳統(tǒng)組合方法相比,本文的算法在大部分數(shù)據(jù)集上都具有更高的分類準確率。
　　 本文研究了基分類器之間的差異性及其準確率對PCARules模型性能的影響。觀察3個隨機選取的數(shù)據(jù)集上的實驗結果,我們發(fā)現(xiàn):基分類器間的高差異性并不能保證組合分類器的高準確