分類器集成研究.pdf

1、集成學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域四個主要研究方向之一，集成是指構(gòu)建一個分類器的集合，并通過基分類器預(yù)測進(jìn)行(權(quán)重)投票給出新數(shù)據(jù)的分類結(jié)果。集成學(xué)習(xí)在實(shí)際問題解決上已得到了廣范的應(yīng)用。集成學(xué)習(xí)最早被用來提高模型性能，或者減小選擇到一個差分類器的可能性。集成學(xué)習(xí)其他的應(yīng)用還包括賦予決策判決以置信度、選擇優(yōu)化特征、數(shù)據(jù)融合、增量學(xué)習(xí)、不穩(wěn)定學(xué)習(xí)和糾錯。盡管集成學(xué)習(xí)還缺乏一個統(tǒng)一的理論框架，但關(guān)于對多個分類器的集成仍然產(chǎn)生了很多相關(guān)的理論，并且有許多試

2、驗(yàn)也證明了這種方式的有效性。本文主要研究了以下問題：集成學(xué)習(xí)標(biāo)簽設(shè)計、集成誤差分析、快速選擇性集成，基于集成的噪聲檢測，聚類分割模型空間，基于ACS(Adaptive ClusteringSampling)的集成學(xué)習(xí)和基于選擇性集成的增量追蹤技術(shù)。
　　 (一)證明了在n維空間總可以構(gòu)造出n+1個對稱矢量，并以此為基礎(chǔ)提出了矢量標(biāo)簽的概念，基于矢量標(biāo)簽實(shí)現(xiàn)了多數(shù)投票法和平均法的統(tǒng)一，這一特點(diǎn)使得用于解決二分類問題的集成學(xué)習(xí)算法都

3、可以自動升級為多分類算法。對Korgh1995年關(guān)于集成學(xué)習(xí)的誤差分析理論作了進(jìn)一步深入，從實(shí)驗(yàn)和理論上說明了集成學(xué)習(xí)的性能除了取決于基分類器之間的差異度，同時不能忽視基分類器個體的性能。實(shí)驗(yàn)證明增大基分類器規(guī)模和提高基分類器性能可以明顯提高選擇性集成的性能。并相應(yīng)設(shè)計了排序Bagging(Bootstrap aggregating)算法和隨機(jī)化Bagging算法，這兩種算法只需增加很小的附加運(yùn)算量就可以在某些數(shù)據(jù)集上提升Bagging

4、算法的性能。
　　 (二)打破原有選擇性集成算法只考慮差異度的思路，提出從同質(zhì)化的角度研究選擇性集成。設(shè)計算法，分別從同質(zhì)化角度以及同質(zhì)化結(jié)合差異化角度進(jìn)行選擇性集成，在個別數(shù)據(jù)集上其性能接近和超過GASEN(Genetic Algorithm Selective ENsemble)算法。提出層次化修剪技術(shù)，解決了大規(guī)?；诸惼鞯倪x擇性集成問題，以此為基礎(chǔ)進(jìn)一步提出了快速選擇性集成算法。該算法選擇性集成速度較GASEN和CLU_

5、ENN(CLUsteringEnsembles of Neural Network)要快得多。并且該算法具備并行處理能力，在目前并行計算已非常廉價的前提下具有較強(qiáng)的應(yīng)用價值。
　　 (三)提出了基于聚類和Boosting的Bagging修剪算法，進(jìn)一步提出了基于聚類選擇的AdaBoost(Adaptive Boost)加速算法，這兩種算法在基分類器集合規(guī)模較大時性能都可以接近AdaBoost算法，同時訓(xùn)練時間要少一個數(shù)量級?；?/p>

6、Boosting檢測噪聲試驗(yàn)，提出了“偽噪聲”概念，并分析了在噪聲剔除過程中各類誤刪和漏刪情況以及相應(yīng)的后果。進(jìn)而提出基于Cascade的噪聲刪除策略和弱Boosting算法來增強(qiáng)對噪聲的檢測能力。最后結(jié)合K-NN算法、Boosting算法和Cascade技術(shù)提出了全新的噪聲刪除算法，性能優(yōu)異，且速度明顯快于AdaBoost。
　　 (四)基于“分而治之”和“拼貼”思想分析集成學(xué)習(xí)，以此為基礎(chǔ)提出了使用聚類分割數(shù)據(jù)模型空間的思想

7、，并說明此時的聚類與傳統(tǒng)聚類兩者的異同?；凇胺侄沃币约皩ootstrap技術(shù)和AdaBoost技術(shù)的分析，引入ACS采樣技術(shù)，并對其作適當(dāng)調(diào)整以適應(yīng)機(jī)器學(xué)習(xí)。使得弱分類器不再是進(jìn)行盲目學(xué)習(xí)而是能夠進(jìn)行有目的學(xué)習(xí)，也即通過ACS采樣技術(shù)，結(jié)合矢量標(biāo)簽我們可以控制弱分類器的學(xué)習(xí)行為。進(jìn)一步提出了ACS-Randomization算法，該算法僅通過調(diào)節(jié)參數(shù)就可以實(shí)現(xiàn)Bagging，Randomization，Random-Baggin

8、g等算法。通過調(diào)節(jié)參數(shù)，可以使得該算法可以在不同類型的數(shù)據(jù)集上都獲得較為理想的效果，也即可以針對不同類型數(shù)據(jù)集調(diào)節(jié)相應(yīng)的學(xué)習(xí)強(qiáng)度和噪聲抑制能力。該算法的試驗(yàn)還說明了噪聲抑制和學(xué)習(xí)能力之間是一種難以調(diào)和的關(guān)系。
　　 (五)從機(jī)器學(xué)習(xí)的角度分析并提出跟蹤任務(wù)的本質(zhì)是增量學(xué)習(xí)。使用選擇性集成技術(shù)來實(shí)現(xiàn)對目標(biāo)跟蹤的增量學(xué)習(xí)，同時完成噪聲檢測與剔除。根據(jù)跟蹤任務(wù)的特點(diǎn)，提出了背景預(yù)測技術(shù)。并在跟蹤任務(wù)中使用了HSV顏色空間模型下Wals