動(dòng)態(tài)數(shù)據(jù)流分類方法研究.pdf

1、近幾年來隨著信息技術(shù)的發(fā)展，傳統(tǒng)數(shù)據(jù)挖掘領(lǐng)域正面臨著前所未有的挑戰(zhàn)。其中最大挑戰(zhàn)來源于數(shù)據(jù)的改變，由傳統(tǒng)的針對(duì)數(shù)據(jù)庫靜態(tài)數(shù)據(jù)挖掘，變?yōu)獒槍?duì)數(shù)據(jù)流的實(shí)時(shí)動(dòng)態(tài)挖掘。數(shù)據(jù)流的特點(diǎn)是海量性（數(shù)據(jù)無法全部保存），實(shí)時(shí)性（對(duì)處理速度有一定要求）及不穩(wěn)定性（存在概念漂移）。目前，數(shù)據(jù)流挖掘的熱點(diǎn)研究領(lǐng)域包括信用卡欺詐監(jiān)測(cè)、網(wǎng)絡(luò)安全監(jiān)控、傳感器數(shù)據(jù)監(jiān)控和電網(wǎng)供電等方面。
　　在動(dòng)態(tài)數(shù)據(jù)流環(huán)境下，數(shù)據(jù)高速到達(dá)，對(duì)分類方法的性能要求高，傳統(tǒng)分類方法難

2、以適應(yīng)。同時(shí)，動(dòng)態(tài)數(shù)據(jù)流還存在概念漂移現(xiàn)象，即隨著數(shù)據(jù)的不斷到達(dá)，隱含在數(shù)據(jù)中的知識(shí)可能會(huì)隨時(shí)間發(fā)生變化。這需要對(duì)分類模型進(jìn)行動(dòng)態(tài)更新。而針對(duì)數(shù)據(jù)挖掘設(shè)計(jì)的方法面對(duì)概念漂移問題往往失效，因此，傳統(tǒng)的分類方法不適用于動(dòng)態(tài)數(shù)據(jù)流的分類，需要提出新的分類方法。
　　概念漂移是指隱含在數(shù)據(jù)中的概念隨著時(shí)間變化的現(xiàn)象。當(dāng)概念漂移發(fā)生時(shí)，需要對(duì)模型進(jìn)行調(diào)整以適應(yīng)新的變化。概念相似性是概念漂移的補(bǔ)充，當(dāng)兩個(gè)數(shù)據(jù)集之間概念相似時(shí)，則認(rèn)為概念漂移沒

3、有發(fā)生，利用這樣的性質(zhì)，可以簡(jiǎn)化數(shù)據(jù)流分類時(shí)的復(fù)雜度。針對(duì)此問題，結(jié)合KL散度計(jì)算概念漂移的方法，提出了一種使用KL散度判斷概念相似度的方法。使用KDQ樹對(duì)數(shù)據(jù)集進(jìn)行劃分，并利用Bootstrap確定相似度閾值，從而實(shí)現(xiàn)了概念相似度的計(jì)算。
　　針對(duì)數(shù)據(jù)流的動(dòng)態(tài)變化性，基于概念相似度方法，出了一種新的數(shù)據(jù)流半監(jiān)督分類模型。該模型首先對(duì)數(shù)據(jù)流進(jìn)行劃分，根據(jù)劃分后的數(shù)據(jù)集的概念相似性訓(xùn)練多個(gè)分類器，根據(jù)新到數(shù)據(jù)的概念相似度選擇合適的分

4、類器進(jìn)行分類，具有自適應(yīng)能力;其次，模型通過設(shè)計(jì)一種遺忘機(jī)制從集成環(huán)境中刪除的長期閑置的個(gè)體分類器。本模型可以同時(shí)檢測(cè)緩慢的以及劇烈的概念漂移，保證模型的性能。利用人工數(shù)據(jù)集及真實(shí)數(shù)據(jù)集對(duì)模型進(jìn)行了評(píng)估。實(shí)驗(yàn)表明所提出的基于概念相似度的半監(jiān)督分類模型可以同時(shí)對(duì)劇烈的概念漂移及緩慢的概念漂移進(jìn)行分類，具有良好的適應(yīng)能力。
　　針對(duì)數(shù)據(jù)流的海量性，提出了一種高度并行化的基于MapReduce框架的動(dòng)態(tài)數(shù)據(jù)流分類算法，該方法基于極端支持