基于一般廣義熵及非平衡割點搜索的決策樹學習.pdf

1、分類問題是機器學習領域最重要的學習問題之一，而決策樹學習算法又是一種典型的分類學習算法。近幾年來，對離散值和連續(xù)值屬性決策樹學習算法的研究和改進都已經(jīng)取得了很大的進展。對于連續(xù)值屬性的決策樹學習算法，學者們提出了多種不同的屬性選取標準，但到目前為止，這些選擇標準只是處于分析各自的優(yōu)缺點、比較優(yōu)劣性的階段，而沒有對多種屬性選擇標準的共性進行研究?；诖搜芯楷F(xiàn)狀，本論文主要做了以下三方面的貢獻：
　　 本文首先根據(jù)已有的決策樹屬性選

2、取標準—信息熵和Gini-Index 所共有的特性，給出了一般廣義熵函數(shù)的定義，并在此基礎上提出了一種新的基于分割一般廣義熵的連續(xù)值屬性的決策樹屬性選取標準。其次，針對連續(xù)值屬性決策樹產(chǎn)生過程中計算的時間復雜度較大的缺點，我們引入了非平衡割點的概念，并通過嚴格的數(shù)學證明給出割點和非平衡割點的關系，即使分割一般廣義熵極小化的割點一定是非平衡割點。這一結論表明在連續(xù)值屬性決策樹的產(chǎn)生過程中，平衡割點處的分割一般廣義熵不需要計算。理論和實驗分