決策樹分類算法的可擴(kuò)展性與并行性研究及在網(wǎng)絡(luò)入侵檢測中的應(yīng)用.pdf_第1頁
已閱讀1頁,還剩61頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、近十年來,數(shù)據(jù)庫規(guī)模日益擴(kuò)大,數(shù)據(jù)量大的可達(dá)數(shù)GB甚至TB級,這些數(shù)據(jù)中包含了大量有價值的信息.怎樣才能發(fā)現(xiàn)其中潛在的知識,從而充分利用各種各樣的信息為人類服務(wù)已顯得越來越重要.由此需求產(chǎn)生了一門新興的知識發(fā)現(xiàn)技術(shù)—數(shù)據(jù)挖掘.目前數(shù)據(jù)挖掘技術(shù)已經(jīng)成為計算機(jī)界新的研究熱點(diǎn)之一.在數(shù)據(jù)挖掘眾多的研究分支中,分類和預(yù)測問題一直是一個十分引人注目的重要分支,其中決策樹方法又是最為典型的方法.目前已有的許多決策樹方法都是串行的內(nèi)存駐留算法,它們不

2、能充分發(fā)揮高性能計算的優(yōu)點(diǎn).隨著數(shù)據(jù)庫中數(shù)據(jù)量越來越大,建立高效的、適用于大型數(shù)據(jù)庫的并行決策樹算法已成為數(shù)據(jù)挖掘中一個挑戰(zhàn)性問題.本文在歸納總結(jié)一般決策樹分類挖掘算法的基礎(chǔ)上,對它的并行性和可擴(kuò)展性進(jìn)行了深入研究,提出了一種基于縱向劃分?jǐn)?shù)據(jù)集的并行決策樹分類算法,同時給出了它在集群計算機(jī)系統(tǒng)上的實(shí)現(xiàn),文章最后還討論了該算法在具體領(lǐng)域中的應(yīng)用.具體而言,主要有以下幾方面內(nèi)容:首先,為了處理大規(guī)模數(shù)據(jù)集,對決策樹方法的可擴(kuò)展性展開討論,提

3、出了幾種用來提高算法可擴(kuò)展性的方法;同時,為了提高算法的效率以進(jìn)行實(shí)時的決策支持,對決策樹分類方法的并行性進(jìn)行研究,分析比較了決策樹方法的各種并行策略,指出各種策略的優(yōu)劣所在.其次,提出了一種快速可擴(kuò)展的決策樹分類算法FSPC(A Fast Scalable Parallel Classification Algorithm).它采用縱向劃分?jǐn)?shù)據(jù)集策略,同時利用哈希表結(jié)構(gòu)使得在測試屬性的選擇過程中同步劃分?jǐn)?shù)據(jù)集.實(shí)驗結(jié)果表明:一方面,它

4、可以大大提高算法的可伸縮性;另一方面,它不僅有利于減少進(jìn)行I/O以及通信的開銷,而且有利于提高算法的并行度,從而提高算法挖掘知識的效率.再次,闡述了并行數(shù)據(jù)挖掘原型系統(tǒng)PDM(a Parallel Data Mining platform)的結(jié)構(gòu)和功能,實(shí)現(xiàn)了基于FSPC算法的并行決策樹分類器,介紹了用FSPC分類器進(jìn)行并行數(shù)據(jù)挖掘的一般過程.另外,對于所產(chǎn)生的決策樹實(shí)現(xiàn)了可視化.最后,介紹了FSPC分類器在網(wǎng)絡(luò)入侵檢測中的應(yīng)用.該應(yīng)用

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論