基于選擇策略的集成學(xué)習(xí)方法研究.pdf

1、集成學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的熱點(diǎn)研究之一。它主要是通過某種組合方式將多個(gè)學(xué)習(xí)器的分類結(jié)果融合到一起，從而提高集成學(xué)習(xí)的泛化能力，避免過擬合現(xiàn)象。集成學(xué)習(xí)應(yīng)用很廣泛，目前主要應(yīng)用領(lǐng)域有圖像識(shí)別、語音識(shí)別、地震波分類等。選擇性集成是在集成學(xué)習(xí)的基礎(chǔ)上發(fā)展起來的，它的主要思想是通過某種方法來選取部分基模型進(jìn)行集成。 本文主要對(duì)選擇策略的集成學(xué)習(xí)進(jìn)行了研究。研究?jī)?nèi)容主要包括以下幾個(gè)方面：第一，使用ID3 決策樹算法以及BP 神經(jīng)網(wǎng)絡(luò)算法分別訓(xùn)練出若

2、干個(gè)基模型。在這里，使用ID3算法訓(xùn)練基模型時(shí)要對(duì)數(shù)據(jù)進(jìn)行離散化處理，使用BP 神經(jīng)網(wǎng)絡(luò)算法時(shí)要對(duì)部分?jǐn)?shù)據(jù)進(jìn)行歸一化處理，對(duì)數(shù)據(jù)的處理是否影響到集成性能進(jìn)行了研究；第二，通過新的選擇標(biāo)準(zhǔn)，采用爬山法、前序選擇和后序選擇這三種選擇性方法對(duì)選擇性集成進(jìn)行了研究，實(shí)驗(yàn)證明了這幾種方法的有效性，選擇標(biāo)準(zhǔn)中參數(shù)的改變也說明了差異性對(duì)集成性能產(chǎn)生了一定的影響，并且把實(shí)驗(yàn)結(jié)果同對(duì)所有基模型進(jìn)行集成的結(jié)果進(jìn)行了比較，說明了選擇性集成的有效性；第三，采用

3、一些聚類方法對(duì)選擇性集成進(jìn)行了研究，當(dāng)然這里的聚類是指將滿足一定條件的基模型聚到一塊，聚類選擇方法主要包括層次聚類和k-m eans 聚類。在聚類當(dāng)中對(duì)集成模型的選擇主要有四種方法，選取中心對(duì)象作為集成模型、隨機(jī)從各個(gè)簇中選取一個(gè)對(duì)象作為集成模型、選取兩個(gè)對(duì)象作為集成模型以及隨機(jī)選取三個(gè)對(duì)象作為集成模型，最后對(duì)這些集成模型進(jìn)行差異性度量，度量方法主要包括fail/no-fail、DF 以及相關(guān)系數(shù)法；第四，對(duì)泛化誤差進(jìn)行了分析。通過實(shí)驗(yàn)