基于混淆矩陣的分類器選擇集成方法研究.pdf

1、集成學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的重要研究方向，它通過訓(xùn)練多個(gè)個(gè)體分類器并把它們組合起來形成多分類器系統(tǒng)，以此來提高分類性能。但是隨著計(jì)算機(jī)技術(shù)的發(fā)展，數(shù)據(jù)量的增大，參與集成的分類器也就越來越多，這樣一方面計(jì)算量迅速增長，另一方面，分類器之間的差異度也變小，影響了集成的準(zhǔn)確性，而一個(gè)有效的集成系統(tǒng)需要參與集成的分類器具有比較高的準(zhǔn)確性和差異性。研究表明，從訓(xùn)練產(chǎn)生的基分類器中選擇一部分來集成，這種方法可能比使用全部的基分類器來進(jìn)行集成效果更好。因

2、此，從大量的基分類器中選擇出具有高差異性的分類器作為代表參與集成，已成為集成學(xué)習(xí)的一個(gè)研究趨勢，需要進(jìn)行更加深入的研究。
　　本文在集成學(xué)習(xí)的基礎(chǔ)上，首先介紹了多分類器集成的國內(nèi)外研究背景和意義，總結(jié)了集成學(xué)習(xí)的國內(nèi)外研究現(xiàn)狀。其次介紹了集成學(xué)習(xí)的概念和兩種經(jīng)典的集成算法Bagging和Boosting算法，接著，分別列舉了乘積規(guī)則、求和規(guī)則等6種集成規(guī)則。然后從差異性度量公式的角度出發(fā)，介紹了差異性度量的概念，以及常用的度量公式

3、。最后提出了一種新的多分類器選擇性方法，具體方法是構(gòu)造所有基分類器的混淆矩陣作為聚類算法的數(shù)據(jù)對(duì)象，依據(jù)各聚類中樣本的分布情況，選擇出一定數(shù)量的分類器作為代表，構(gòu)成新的待集成分類器集合，然后把這個(gè)方法應(yīng)用于 Bagging的訓(xùn)練過程中。為了驗(yàn)證本文方法的可行性，在 UCI數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，將本文的方法應(yīng)用于Bagging算法的訓(xùn)練過程得到的實(shí)驗(yàn)結(jié)果與使用原始的Bagging算法得到的結(jié)果進(jìn)行比較，表明，該方法可以有效提高集成系統(tǒng)的準(zhǔn)確率