SVM在決策樹歸納中的應用.pdf

1、決策樹歸納學習算法是機器學習中最重要的算法之一。目前通常采用啟發(fā)式方法來構建決策樹，因此探索各種啟發(fā)式算法成了決策樹研究的一個焦點。支持向量機（SVM）是基于統(tǒng)計學習理論的一種小樣本學習方法，考慮到支持向量機的分類間隔與泛化能力的關系，可以將SVM應用于決策樹的歸納過程，使用最大間隔作為生成決策樹的啟發(fā)式信息，使得決策樹有較強的泛化能力。本課題基于統(tǒng)計學習理論和支持向量機，對小樣本下用最大間隔作為啟發(fā)式的決策樹歸納學習進行了研究。

2、>　　 本文在深入分析支持向量機及其反問題的基礎上，將支持向量機的最大間隔理論應用到了決策樹的歸納過程。首先，對支持向量機基本問題及其快速求解算法進行了探討，在此基礎上討論了支持向量機反問題及其求解，給出了利用k-means聚類求解支持向量機反問題的算法。然后，討論了SVM在決策樹歸納中的應用，給出了用最大間隔作為啟發(fā)式生成決策樹的設計算法，并對算法進行了分析。最后，給出了實驗過程，與用熵作啟發(fā)式的二叉決策樹的比較結果表明了本文算法的