基于決策樹的分類算法的并行化研究及應(yīng)用.pdf

1、隨著社會(huì)各個(gè)領(lǐng)域計(jì)算機(jī)應(yīng)用的普及,信息技術(shù)和網(wǎng)絡(luò)技術(shù)高度發(fā)展,產(chǎn)生的數(shù)據(jù)量日益增大.如何有效地管理、利用數(shù)據(jù)庫(kù)中數(shù)據(jù),以及怎樣才能發(fā)現(xiàn)其中潛在的知識(shí),這就需要有新的、更為有效的手段來對(duì)各種數(shù)據(jù)源整理并進(jìn)行分析,發(fā)現(xiàn)新的知識(shí)以發(fā)揮這些數(shù)據(jù)的潛能.由此數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生并得以迅猛發(fā)展. 數(shù)據(jù)挖掘,又稱為數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn),就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中,提取隱含在其中的、人們事先不知道的、但又是潛在的有用的

2、信息和知識(shí)的過程.數(shù)據(jù)挖掘是一門新興的技術(shù),它以數(shù)據(jù)庫(kù)技術(shù)作為基礎(chǔ),把邏輯學(xué)、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、模糊學(xué)、可視化計(jì)算等多門學(xué)科的成果綜合在一起,進(jìn)行如何從數(shù)據(jù)庫(kù)中得到有用信息的研究.數(shù)據(jù)挖掘技術(shù)得到了人們的普遍關(guān)注和廣泛興趣,廣泛應(yīng)用于商品市場(chǎng)、銀行金融、保險(xiǎn)、公共設(shè)施、政府、教育、遠(yuǎn)程通訊、運(yùn)輸?shù)雀鱾€(gè)行業(yè)中. 分類是數(shù)據(jù)挖掘中的一個(gè)重要研究領(lǐng)域.分類是一個(gè)兩步過程.首先建立一個(gè)模型,描述預(yù)定義的數(shù)據(jù)類集或概念集,然后,使用模型進(jìn)

3、行分類.決策樹分類是一種非常有效的分類方法.迄今為止,人們提出了很多種不同的決策樹分類算法,各種算法在執(zhí)行速度、可擴(kuò)展性、輸出結(jié)果的可理解性,分類的準(zhǔn)確性等方面各有千秋.但它們?cè)诶碚摵头椒ㄉ先杂胁蛔阒?對(duì)決策樹算法的進(jìn)一步優(yōu)化研究將不僅有助于算法理論的完善,而且有助于算法的推廣和應(yīng)用. 本文對(duì)數(shù)據(jù)挖掘技術(shù),尤其是決策樹分類技術(shù)進(jìn)行了較為系統(tǒng)地分析和研究,并對(duì)現(xiàn)有的并行決策樹分類算法提出了改進(jìn),主要包括以下一些內(nèi)容: (

4、1)數(shù)據(jù)挖掘技術(shù)的概述.本文介紹了數(shù)據(jù)挖掘的基本概念、步驟,分類、主要方法、典型應(yīng)用以及所面臨的挑戰(zhàn)等等. (2)決策樹分類算法的研究.本文介紹了決策樹分類的一般過程,描述和分析了幾種典型的決策樹建樹和剪枝算法及其特點(diǎn),就性能進(jìn)行了對(duì)比,并對(duì)決策樹技術(shù)的研究方向進(jìn)行了探討. (3)決策樹分類算法的優(yōu)化研究.本文對(duì)決策樹分類算法的時(shí)間可擴(kuò)展性和空間可擴(kuò)展性進(jìn)行了描述,對(duì)提高可擴(kuò)展性進(jìn)行了研究.對(duì)決策樹的并行化研究進(jìn)行了細(xì)致

5、地探討.(4)一種決策樹分類的并行改進(jìn)算法.本文提出了一種決策樹分類的并行改進(jìn)算法,不僅可以提高計(jì)算的并行性,而且可以降低I/O及通信開銷,從而達(dá)到更好的并行性能,同時(shí)它具有良好的可擴(kuò)展性. (5)決策樹在市場(chǎng)細(xì)分中的應(yīng)用.將本文提出的并行決策樹算法應(yīng)用于具體的市場(chǎng)細(xì)分實(shí)例中.針對(duì)手機(jī)市場(chǎng),通過并行決策樹分類技術(shù)在大量的消費(fèi)者購(gòu)買數(shù)據(jù)中進(jìn)行分析和比對(duì),進(jìn)行市場(chǎng)細(xì)分,完成從數(shù)據(jù)導(dǎo)入到生成規(guī)則的完整的數(shù)據(jù)挖掘步驟,挖掘出不同消費(fèi)者的