基于特征優(yōu)化的選擇性集成學(xué)習(xí)算法.pdf

1、機(jī)器學(xué)習(xí)的方法在生產(chǎn)和科研中都有著廣泛的應(yīng)用，而集成學(xué)習(xí)則是機(jī)器學(xué)習(xí)領(lǐng)域中一門(mén)重要的研究分支。集成學(xué)習(xí)是把一系列基學(xué)習(xí)器結(jié)合在一起再做預(yù)測(cè)的一種方法。在理論和實(shí)踐中集成學(xué)習(xí)都被證明是一種極其有效的提高算法泛化能力的手段。然而，現(xiàn)有的一些集成學(xué)習(xí)算法有時(shí)會(huì)產(chǎn)生一些不必要的過(guò)大的基學(xué)習(xí)器的集合，這就導(dǎo)致了一些計(jì)算上的浪費(fèi)和額外的存儲(chǔ)開(kāi)銷(xiāo)。在這種情況下，我們自然的提出了疑問(wèn)，是否集合中每一個(gè)學(xué)習(xí)器都是必要的。而有研究證明，從集成學(xué)習(xí)中選擇出的

2、子集可能要比整個(gè)集合的效果更好。由此，選擇性集成學(xué)習(xí)誕生了。選擇性集成學(xué)習(xí)算法的目的就是在集成學(xué)習(xí)的基學(xué)習(xí)器的集合中選擇出其中的一部分子集再做集合，而且要保證相對(duì)于原集成學(xué)習(xí)來(lái)說(shuō)，選擇后的效果至少要是可比較的或者是更好。
　　 根據(jù)算法設(shè)計(jì)的不同，選擇性集成學(xué)習(xí)算法又可大概分為基于聚類(lèi)的方法、基于排序的方法和基于優(yōu)化的方法。在選擇的過(guò)程中，如何權(quán)衡單個(gè)學(xué)習(xí)器的精度和多樣性是算法設(shè)計(jì)的關(guān)鍵。本文中，我們提出了一種將選擇性集成學(xué)習(xí)的

3、問(wèn)題構(gòu)建成一種組合優(yōu)化問(wèn)題的方法，優(yōu)化的目標(biāo)是同時(shí)最大化集合的精度和多樣性。精確求解這樣一個(gè)問(wèn)題是非常困難的，幸運(yùn)的是我們可以將問(wèn)題松弛和變換成一種基于特征優(yōu)化的問(wèn)題，并且能夠非常有效的求解并保證全局收斂。大量具有說(shuō)服力的實(shí)驗(yàn)結(jié)果表明，我們的算法要比現(xiàn)有效果最好的選擇性集成學(xué)習(xí)算法的性能要好。
　　 本文的內(nèi)容包括:(1)簡(jiǎn)要回顧了集成學(xué)習(xí)的研究背景和國(guó)內(nèi)外研究現(xiàn)狀;(2)介紹現(xiàn)有一些集成學(xué)習(xí)中所涉及到的技術(shù)，如集成結(jié)合的方法、