基于加權決策樹的隨機森林模型優(yōu)化.pdf

1、隨機森林是一種組合分類器，它的主要思想是基于兩個隨機過程（訓練樣本隨機抽取、特征集隨機抽?。﹣順嫿ǘ嗫孟鄬Κ毩⒌臎Q策樹分類器，然后通過所有決策樹參與投票的方式獲得最終的預測結果，這樣有效避免了過度擬合的問題，并且構建決策樹的相對獨立性適合于并行計算提高模型的預測效率，方便處理高維數(shù)據(jù)。這些特點使隨機森林在各個工程應用中得到了迅速、廣泛的使用，成為機器學習、數(shù)據(jù)挖掘研究中的熱門算法。
　　雖然隨機森林在模型構建過程中的隨機抽樣解決了

2、過擬合的問題，但是也使得模型中不同決策樹的泛化能力存在一定的差異，在傳統(tǒng)隨機森林模型中這些具有不同泛化能力的決策樹擁有相同的投票權重，這影響了模型整體預測能力的穩(wěn)定性。因此，為了進一步提高隨機森林模型整體的預測能力，本文提出了一種優(yōu)化的隨機森林投票方法，通過使用決策樹的分類性能與樣本的統(tǒng)計特征來確定決策樹的投票權重，使用加權決策樹投票的方式提高隨機森林整體模型的準確率與效率。
　　本文通過研究傳統(tǒng)隨機森林算法，著重優(yōu)化了隨機森林的

3、投票過程，針對投票過程中存在的問題，提出改進的方法，并通過在多個公共數(shù)據(jù)集上展開實驗，驗證優(yōu)化方法的合理性和優(yōu)越性。本研究的主要工作包括:
　　(1)從決策樹的分類能力、訓練樣本的統(tǒng)計特性入手，提出了4種計算決策樹投票權重的方法，包括OOB評估、樣本數(shù)據(jù)相關系數(shù)評估、卡方評估和互信息評估，通過這4種評估方法為單棵決策樹計算投票權重。在8組數(shù)據(jù)集上進行對比實驗，實驗結果表明引入投票加權的方法可以有效的提高隨機森林模型整體的泛化能力，

4、其中以相關系數(shù)作為決策樹投票權重計算依據(jù)時，模型表現(xiàn)出更穩(wěn)定、更高的預測準確率。
　　(2)在引入加權投票算法的基礎上，本文還提出了一種半投票量模式，對構建好的加權隨機森林模型按照決策樹投票權重進行降序排序，在隨機森林模型進行串行投票的過程中，確定半投票量的預測終止條件，通過提前觸發(fā)預測終止條件來提高模型預測的速度。本文在4組數(shù)據(jù)集上進行對比實驗，驗證了半投票量模式可以在不影響模型預測準確率的前提下顯著提高隨機森林模型的預測速度。