基于軟間隔的AdaBoost弱分類器權(quán)重調(diào)整算法.pdf

1、Freund和Schapire1995年提出的AdaBoost算法是Boosting家族最具有代表性的算法,其基本思想是利用一系列的弱分類器通過加權(quán)線性組合來構(gòu)成一個強分類器。AdaBoost作為一種集成學(xué)習(xí)方法,以PAC(Probably Approximately Correct)學(xué)習(xí)理論為依據(jù),在很多應(yīng)用領(lǐng)域中都表現(xiàn)出了其優(yōu)良特性。本文主要研究如何通過調(diào)整弱分類器的權(quán)重來提高AdaBoost算法的泛化性能,文章主要做了以下的工作:

2、一方面,本文在簡單介紹AdaBoost算法模型及其思想的基礎(chǔ)上,分析了AdaBoost算法的泛化誤差、訓(xùn)練誤差及其收斂性,以及泛化誤差與間隔之間的關(guān)系。并針對長期以來對于泛化誤差與間隔分布以及最小間隔的關(guān)系的爭論,介紹了兩種基于間隔的AdaBoost弱分類器權(quán)重調(diào)整算法:基于最大化最小間隔的Arc-GV算法和基于優(yōu)化間隔分布的AdaBoost-QP算法,通過實驗比較AdaBoost、Arc-GV、AdaBoost-QP的泛化誤差、最小間

3、隔以及間隔分布,表明了間隔分布對于提高泛化性能的重要性。
　　 另一方面,注意到AdaBoost算法在有噪聲的數(shù)據(jù)集上會出現(xiàn)明顯的過學(xué)習(xí)現(xiàn)象,如AdaBoost-QP算法利用了優(yōu)化樣本間隔分布的方法來調(diào)整弱分類器的權(quán)重,但實驗表明其依然會出現(xiàn)因為過于強調(diào)難分類的樣本點而導(dǎo)致泛化性能下降的局限性問題。本文通過分析硬間隔和過學(xué)習(xí)現(xiàn)象的關(guān)系,為了克服AdaBoost算法對于噪聲的敏感性,提出了給樣本間隔加入松弛項的“軟間隔”概念來弱