基于增量存儲(chǔ)的商業(yè)數(shù)據(jù)流分類挖掘算法研究與應(yīng)用.pdf

1、數(shù)據(jù)流挖掘目前已成為數(shù)據(jù)挖掘的熱點(diǎn)話題，如挖掘通信領(lǐng)域中的電話記錄數(shù)據(jù)流以期發(fā)現(xiàn)潛在的優(yōu)質(zhì)客戶、挖掘Web上的用戶點(diǎn)擊數(shù)據(jù)流、網(wǎng)絡(luò)監(jiān)測(cè)中的數(shù)據(jù)包流以期發(fā)現(xiàn)可能存在的黑客攻擊、挖掘零售業(yè)務(wù)中的交易數(shù)據(jù)流以期實(shí)現(xiàn)相關(guān)服務(wù)的推薦等。以上案例都是對(duì)動(dòng)態(tài)商業(yè)數(shù)據(jù)流進(jìn)行挖掘，與傳統(tǒng)數(shù)據(jù)的挖掘不同，商業(yè)數(shù)據(jù)流挖掘必須適應(yīng)數(shù)據(jù)的海量、連續(xù)、突變、保密、快速處理及更新、僅讀取一次等特點(diǎn)。商業(yè)數(shù)據(jù)流的突變性引發(fā)了其所蘊(yùn)含的概念隨著時(shí)間而變化的，正是由于隨時(shí)

2、間的持續(xù)變化，必然會(huì)導(dǎo)致概念模型的更新，進(jìn)而引起概念漂移(Concept Drift)問(wèn)題。數(shù)據(jù)流的以上特點(diǎn)使得數(shù)據(jù)流上的分類模型不同于傳統(tǒng)的分類模型，需要能夠快速的處理流入的數(shù)據(jù)，并且及時(shí)對(duì)模型進(jìn)行調(diào)整以反映新的分類信息。
　　 本文在國(guó)內(nèi)外研究基礎(chǔ)上首先研究了數(shù)據(jù)流的存儲(chǔ)問(wèn)題，提出了數(shù)據(jù)流的增量存儲(chǔ)結(jié)構(gòu)——增量存儲(chǔ)樹(shù)；接著，研究了數(shù)據(jù)流中存在的概念漂移現(xiàn)象，提出了集成貝葉斯分類技術(shù)，以及基于2次方的增量存儲(chǔ)樹(shù)更新策略；最后，

3、通過(guò)上面的研究提出了基于增量存儲(chǔ)樹(shù)的數(shù)據(jù)流中隱含概念漂移的分類挖掘算法(CMCD-ST)，并以插件的形式開(kāi)發(fā)了CMCD-ST應(yīng)用程序。主要研究?jī)?nèi)容包括：
　　 第一，對(duì)數(shù)據(jù)挖掘、數(shù)據(jù)挖掘的商業(yè)應(yīng)用背景、數(shù)據(jù)流分類挖掘及其現(xiàn)有模型等相關(guān)理論進(jìn)行研究，總結(jié)出目前該領(lǐng)域的最新研究成果，以期取其之長(zhǎng)運(yùn)用到商業(yè)數(shù)據(jù)流相關(guān)任務(wù)的挖掘上。
　　 第二，針對(duì)數(shù)據(jù)流的存儲(chǔ)進(jìn)行研究。基于對(duì)Bayesian算法的特性以及數(shù)據(jù)流的特性分析，本文

4、提出了動(dòng)態(tài)增量存儲(chǔ)樹(shù)結(jié)構(gòu)，該結(jié)構(gòu)把以記錄為單位進(jìn)行存儲(chǔ)的數(shù)據(jù)轉(zhuǎn)變?yōu)閷傩源鎯?chǔ)樹(shù)，樹(shù)的大小是由屬性、屬性值和分類的類別數(shù)量決定的。由此數(shù)據(jù)流的存儲(chǔ)容量不是由記錄數(shù)決定的，而是由屬性、屬性值和分類的類別數(shù)量共同決定，從而解決了動(dòng)態(tài)數(shù)據(jù)流挖掘最大的難題——數(shù)據(jù)存儲(chǔ)問(wèn)題。
　　 第三，對(duì)數(shù)據(jù)流屬性間的多重線性相關(guān)等進(jìn)行研究，采用自助抽樣技術(shù)對(duì)待分類數(shù)據(jù)中的屬性進(jìn)行裁剪和優(yōu)化，解決了數(shù)據(jù)屬性間的多重線性相關(guān)問(wèn)題。
　　 第四，針對(duì)數(shù)