動態(tài)數(shù)據(jù)流分類方法研究.pdf

1、近幾年來隨著信息技術的發(fā)展，傳統(tǒng)數(shù)據(jù)挖掘領域正面臨著前所未有的挑戰(zhàn)。其中最大挑戰(zhàn)來源于數(shù)據(jù)的改變，由傳統(tǒng)的針對數(shù)據(jù)庫靜態(tài)數(shù)據(jù)挖掘，變?yōu)獒槍?shù)據(jù)流的實時動態(tài)挖掘。數(shù)據(jù)流的特點是海量性（數(shù)據(jù)無法全部保存），實時性（對處理速度有一定要求）及不穩(wěn)定性（存在概念漂移）。目前，數(shù)據(jù)流挖掘的熱點研究領域包括信用卡欺詐監(jiān)測、網(wǎng)絡安全監(jiān)控、傳感器數(shù)據(jù)監(jiān)控和電網(wǎng)供電等方面。
　　在動態(tài)數(shù)據(jù)流環(huán)境下，數(shù)據(jù)高速到達，對分類方法的性能要求高，傳統(tǒng)分類方法難

2、以適應。同時，動態(tài)數(shù)據(jù)流還存在概念漂移現(xiàn)象，即隨著數(shù)據(jù)的不斷到達，隱含在數(shù)據(jù)中的知識可能會隨時間發(fā)生變化。這需要對分類模型進行動態(tài)更新。而針對數(shù)據(jù)挖掘設計的方法面對概念漂移問題往往失效，因此，傳統(tǒng)的分類方法不適用于動態(tài)數(shù)據(jù)流的分類，需要提出新的分類方法。
　　概念漂移是指隱含在數(shù)據(jù)中的概念隨著時間變化的現(xiàn)象。當概念漂移發(fā)生時，需要對模型進行調(diào)整以適應新的變化。概念相似性是概念漂移的補充，當兩個數(shù)據(jù)集之間概念相似時，則認為概念漂移沒

3、有發(fā)生，利用這樣的性質(zhì)，可以簡化數(shù)據(jù)流分類時的復雜度。針對此問題，結(jié)合KL散度計算概念漂移的方法，提出了一種使用KL散度判斷概念相似度的方法。使用KDQ樹對數(shù)據(jù)集進行劃分，并利用Bootstrap確定相似度閾值，從而實現(xiàn)了概念相似度的計算。
　　針對數(shù)據(jù)流的動態(tài)變化性，基于概念相似度方法，出了一種新的數(shù)據(jù)流半監(jiān)督分類模型。該模型首先對數(shù)據(jù)流進行劃分，根據(jù)劃分后的數(shù)據(jù)集的概念相似性訓練多個分類器，根據(jù)新到數(shù)據(jù)的概念相似度選擇合適的分

4、類器進行分類，具有自適應能力;其次，模型通過設計一種遺忘機制從集成環(huán)境中刪除的長期閑置的個體分類器。本模型可以同時檢測緩慢的以及劇烈的概念漂移，保證模型的性能。利用人工數(shù)據(jù)集及真實數(shù)據(jù)集對模型進行了評估。實驗表明所提出的基于概念相似度的半監(jiān)督分類模型可以同時對劇烈的概念漂移及緩慢的概念漂移進行分類，具有良好的適應能力。
　　針對數(shù)據(jù)流的海量性，提出了一種高度并行化的基于MapReduce框架的動態(tài)數(shù)據(jù)流分類算法，該方法基于極端支持