基于并行化的決策樹算法優(yōu)化及其應(yīng)用研究.pdf

1、隨著無線通信、MEMS（微機電系統(tǒng)）等技術(shù)的不斷進步與發(fā)展，各種各樣的傳感數(shù)據(jù)呈現(xiàn)指數(shù)級增長。這些海量數(shù)據(jù)不僅給傳統(tǒng)的數(shù)據(jù)庫存儲和處理器計算帶來了挑戰(zhàn)，同時也給數(shù)據(jù)挖掘領(lǐng)域帶來了新的發(fā)展機遇。數(shù)據(jù)挖掘旨在利用分類、聚類等數(shù)據(jù)挖掘相關(guān)算法從大量、有噪聲、隨機、模糊的數(shù)據(jù)中尋找出有用信息。在海量數(shù)據(jù)時代，數(shù)據(jù)連續(xù)屬性的準(zhǔn)確分割、數(shù)據(jù)挖掘算法并行化對于快速獲取正確的結(jié)果顯得越來越重要。分類算法在數(shù)據(jù)挖掘的各個方面會被使用到，決策樹分類器作為分

2、類算法中十分重要的分類器，具有易于理解、準(zhǔn)確率高、不需要領(lǐng)域知識等優(yōu)點。
　　為了提高決策樹算法的效率，降低決策樹構(gòu)造的復(fù)雜度，本文針對傳統(tǒng)決策樹算法不適合處理海量數(shù)據(jù)的特點，提出一種決策樹的并行化優(yōu)化算法。相較于傳統(tǒng)的決策樹算法，在連續(xù)屬性的離散化上，對于分割點的選取進行了一定的優(yōu)化同時實行了屬性分割的并行化。在決策樹構(gòu)造過程中，采用并行化的設(shè)計方案，利用MapReduce編程模型來進行決策樹的構(gòu)造，提出一種新的并行化方案，不僅