基于特征優(yōu)化的選擇性集成學習算法.pdf

1、機器學習的方法在生產和科研中都有著廣泛的應用，而集成學習則是機器學習領域中一門重要的研究分支。集成學習是把一系列基學習器結合在一起再做預測的一種方法。在理論和實踐中集成學習都被證明是一種極其有效的提高算法泛化能力的手段。然而，現(xiàn)有的一些集成學習算法有時會產生一些不必要的過大的基學習器的集合，這就導致了一些計算上的浪費和額外的存儲開銷。在這種情況下，我們自然的提出了疑問，是否集合中每一個學習器都是必要的。而有研究證明，從集成學習中選擇出的

2、子集可能要比整個集合的效果更好。由此，選擇性集成學習誕生了。選擇性集成學習算法的目的就是在集成學習的基學習器的集合中選擇出其中的一部分子集再做集合，而且要保證相對于原集成學習來說，選擇后的效果至少要是可比較的或者是更好。
　　 根據(jù)算法設計的不同，選擇性集成學習算法又可大概分為基于聚類的方法、基于排序的方法和基于優(yōu)化的方法。在選擇的過程中，如何權衡單個學習器的精度和多樣性是算法設計的關鍵。本文中，我們提出了一種將選擇性集成學習的

3、問題構建成一種組合優(yōu)化問題的方法，優(yōu)化的目標是同時最大化集合的精度和多樣性。精確求解這樣一個問題是非常困難的，幸運的是我們可以將問題松弛和變換成一種基于特征優(yōu)化的問題，并且能夠非常有效的求解并保證全局收斂。大量具有說服力的實驗結果表明，我們的算法要比現(xiàn)有效果最好的選擇性集成學習算法的性能要好。
　　 本文的內容包括:(1)簡要回顧了集成學習的研究背景和國內外研究現(xiàn)狀;(2)介紹現(xiàn)有一些集成學習中所涉及到的技術，如集成結合的方法、