標簽噪聲的集成學習研究.pdf

1、集成學習，又稱多分類器系統(tǒng)，嘗試著訓練多個不同的基分類器，通過協(xié)同合作來處理問題。作為機器學習的一個新的學習范式，集成學習的目的在于改善算法的泛化性能。然而，分類器的預測精度和泛化能力常常受到訓練數(shù)據(jù)中標簽噪聲樣本的影響。目前主要有兩種有效的處理訓練集中標簽噪聲的方法：一種是構建對標簽噪聲魯棒的學習算法框架，一種是檢測并清除數(shù)據(jù)集中的標簽噪聲樣本。在本篇論文中，三個研究內容，應用集成學習方法，圍繞著上面兩種標簽噪聲處理方法展開。

2、　　論文的主要研究內容內如下：
　?。?）提出了一種基于Condensed Nearest Neighbor和集成的魯棒學習方法框架。CNN方法作為一種基于實例選擇的方法，旨在構建一個有效的訓練子集，使其能代表整個訓練集。算法利用Condensed Nearest Neighbors對標簽噪聲的敏感特性和其樣本選擇的特性，有效地構建噪聲比例相對較少的多個訓練數(shù)據(jù)子集，通過訓練子集的差異性和低標簽噪聲率來訓練得到魯棒和有效的基分類器

3、，最后對基分類器的學習結果進行集成組合。實驗通過對比經(jīng)典Bagging、AdaBoost和隨機森林算法等集成學習方法，在處理不同噪聲樣本比例的數(shù)據(jù)集時，取得了更好的分類效果，展現(xiàn)了更強的標簽噪聲魯棒性。
　?。?）基于隨機森林和數(shù)據(jù)集分塊的集成去噪算法中，首先，利用隨機森林方法對Majority Filtering算法做出了改進，以期訓練得到的基分類器具有很好的噪聲容忍特性。然后，算法進行多次隨機的數(shù)據(jù)集分塊，通過隨機森林改進后的

4、Majority Filtering算法檢測出多個疑似標簽噪聲樣本集，最終經(jīng)過多數(shù)投票，決定出訓練集中的標簽噪聲樣本并進行剔除。實驗表明，提出的算法可以檢測出更多的標簽噪聲樣本，較少地剔除標記正確的樣本，證實了算法的有效性。
　?。?）基于Majority Voting的改進AdaBoost標簽噪聲抑制算法中，針對AdaBoost算法對于噪聲樣本的敏感性，即噪聲樣本的權重會隨著算法迭代次數(shù)的增加而增加，進而影響到樣本子集的采樣選取