集成分類學(xué)習(xí)算法研究.pdf

1、分類是數(shù)據(jù)挖掘中的一項(xiàng)重要任務(wù)，分類是先通過(guò)類標(biāo)號(hào)已知的數(shù)據(jù)建立模型，然后對(duì)類標(biāo)未知的樣本進(jìn)行分類。分類正確率是衡量一個(gè)分類器性能的重要指標(biāo)，然而單個(gè)的分類器有時(shí)不能達(dá)到較好的正確率，而集成學(xué)習(xí)的出現(xiàn)使得這一問(wèn)題得到改善。集成分類學(xué)習(xí)是指通過(guò)多個(gè)分類器來(lái)解決同一學(xué)習(xí)任務(wù)，能夠獲得比僅使用單一分類器更好的性能。集成學(xué)習(xí)成為近年來(lái)機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)熱點(diǎn)方向，由于其優(yōu)良的特性，現(xiàn)已在多個(gè)領(lǐng)域得到應(yīng)用，例如行星探測(cè)、字符識(shí)別、生物認(rèn)證、Web信

2、息過(guò)濾等。
　　目前集成學(xué)習(xí)的研究?jī)?nèi)容主要包括兩個(gè)方面:第一，個(gè)體學(xué)習(xí)器精度不能太低，如果學(xué)習(xí)精度過(guò)低，將導(dǎo)致集成的精度不高；第二，個(gè)體學(xué)習(xí)器之間要有差異性，如果沒(méi)有差異性，則集成是沒(méi)有意義的。目前已有多種產(chǎn)生差異性的方法，如:基于特征集技術(shù)，通過(guò)某種策略選取特征子集，可以通過(guò)不同的特征集獲取個(gè)體間的差異性；基于數(shù)據(jù)技術(shù)，采用取樣技術(shù)獲取不同訓(xùn)練數(shù)據(jù)來(lái)獲得個(gè)體間差異性。然而集成學(xué)習(xí)還存在著一些未解決的問(wèn)題，如何設(shè)計(jì)差異性大的學(xué)習(xí)器

3、，以及差異性的度量問(wèn)題。通過(guò)對(duì)集成學(xué)習(xí)的深入了解，本文把集成學(xué)習(xí)應(yīng)用到分類過(guò)程中，在兩大經(jīng)典算法AdaBoost和Bagging的基礎(chǔ)上做了一定的改進(jìn)。獲得了好的分類性能以及更快的收斂速度。
　　具體來(lái)說(shuō)，本文開(kāi)展并完成的工作主要包括以下幾點(diǎn):
　　(1)首先介紹了分類的過(guò)程，目前常用的分類算法的基本思想，各種分類算法的優(yōu)缺點(diǎn)，簡(jiǎn)要介紹了集成學(xué)習(xí)的基本概念，分析了兩大代表算法AdaBoost和Bagging的理論基礎(chǔ)，對(duì)選擇

4、性集成學(xué)習(xí)進(jìn)行了簡(jiǎn)要闡述，指出目前集成學(xué)習(xí)的不足以及發(fā)展方向，為更好的發(fā)展集成學(xué)習(xí)提供了依據(jù)。
　　(2)為了產(chǎn)生精度更高、收斂速度更快的集成，提出了一種新的標(biāo)記迭代過(guò)程中錯(cuò)分樣本的AdaBoost算法(MWBoost)，該算法通過(guò)在提升過(guò)程中，總是把上一個(gè)分類器錯(cuò)分的樣本全部參入到下一個(gè)分類器的訓(xùn)練中，同時(shí)在分類正確的樣本中進(jìn)行重采樣，從而使得后一輪提升中分類器能夠更快速地關(guān)注那些難以分類的樣本。該算法在UCI的多個(gè)數(shù)據(jù)集上進(jìn)行

5、了測(cè)試，并且與傳統(tǒng)的AdaBoost算法進(jìn)行了比較，實(shí)驗(yàn)結(jié)果表明新的算法具有更好的分類精度以及更快的收斂速度。
　　(3)為了產(chǎn)生多樣性的分類器，基于模糊聚類思想，提出了一種新的Bagging集成方法F-Bagging?；舅枷胧牵紫劝延?xùn)練數(shù)據(jù)通過(guò)模糊聚類思想聚類，然后根據(jù)隸屬度矩陣，如果樣例屬于多個(gè)簇的隸屬度差值在一個(gè)閾值范圍內(nèi)，那么就把此樣例同時(shí)劃分到這幾個(gè)簇中，此方法充分遵循了樣例的實(shí)際分布，最后把各個(gè)子集進(jìn)行訓(xùn)練。由于各