決策樹分類算法的可擴(kuò)展性與并行性研究及在網(wǎng)絡(luò)入侵檢測中的應(yīng)用.pdf

1、近十年來,數(shù)據(jù)庫規(guī)模日益擴(kuò)大,數(shù)據(jù)量大的可達(dá)數(shù)GB甚至TB級,這些數(shù)據(jù)中包含了大量有價值的信息.怎樣才能發(fā)現(xiàn)其中潛在的知識,從而充分利用各種各樣的信息為人類服務(wù)已顯得越來越重要.由此需求產(chǎn)生了一門新興的知識發(fā)現(xiàn)技術(shù)—數(shù)據(jù)挖掘.目前數(shù)據(jù)挖掘技術(shù)已經(jīng)成為計算機(jī)界新的研究熱點(diǎn)之一.在數(shù)據(jù)挖掘眾多的研究分支中,分類和預(yù)測問題一直是一個十分引人注目的重要分支,其中決策樹方法又是最為典型的方法.目前已有的許多決策樹方法都是串行的內(nèi)存駐留算法,它們不

2、能充分發(fā)揮高性能計算的優(yōu)點(diǎn).隨著數(shù)據(jù)庫中數(shù)據(jù)量越來越大,建立高效的、適用于大型數(shù)據(jù)庫的并行決策樹算法已成為數(shù)據(jù)挖掘中一個挑戰(zhàn)性問題.本文在歸納總結(jié)一般決策樹分類挖掘算法的基礎(chǔ)上,對它的并行性和可擴(kuò)展性進(jìn)行了深入研究,提出了一種基于縱向劃分?jǐn)?shù)據(jù)集的并行決策樹分類算法,同時給出了它在集群計算機(jī)系統(tǒng)上的實(shí)現(xiàn),文章最后還討論了該算法在具體領(lǐng)域中的應(yīng)用.具體而言,主要有以下幾方面內(nèi)容:首先,為了處理大規(guī)模數(shù)據(jù)集,對決策樹方法的可擴(kuò)展性展開討論,提

3、出了幾種用來提高算法可擴(kuò)展性的方法;同時,為了提高算法的效率以進(jìn)行實(shí)時的決策支持,對決策樹分類方法的并行性進(jìn)行研究,分析比較了決策樹方法的各種并行策略,指出各種策略的優(yōu)劣所在.其次,提出了一種快速可擴(kuò)展的決策樹分類算法FSPC(A Fast Scalable Parallel Classification Algorithm).它采用縱向劃分?jǐn)?shù)據(jù)集策略,同時利用哈希表結(jié)構(gòu)使得在測試屬性的選擇過程中同步劃分?jǐn)?shù)據(jù)集.實(shí)驗結(jié)果表明:一方面,它

4、可以大大提高算法的可伸縮性;另一方面,它不僅有利于減少進(jìn)行I/O以及通信的開銷,而且有利于提高算法的并行度,從而提高算法挖掘知識的效率.再次,闡述了并行數(shù)據(jù)挖掘原型系統(tǒng)PDM(a Parallel Data Mining platform)的結(jié)構(gòu)和功能,實(shí)現(xiàn)了基于FSPC算法的并行決策樹分類器,介紹了用FSPC分類器進(jìn)行并行數(shù)據(jù)挖掘的一般過程.另外,對于所產(chǎn)生的決策樹實(shí)現(xiàn)了可視化.最后,介紹了FSPC分類器在網(wǎng)絡(luò)入侵檢測中的應(yīng)用.該應(yīng)用