數(shù)據(jù)流上概念漂移的檢測(cè)和分類.pdf

1、在當(dāng)今信息時(shí)代,通信、計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的快速發(fā)展讓我們能捕獲和存儲(chǔ)大量的數(shù)據(jù),導(dǎo)致數(shù)據(jù)出現(xiàn)了爆炸性增長(zhǎng)。在這些數(shù)據(jù)中尋找模式、趨勢(shì)和異常之處,并且以簡(jiǎn)單的數(shù)量模型歸納,是信息時(shí)代巨大的挑戰(zhàn)之一。數(shù)據(jù)挖掘正是為應(yīng)對(duì)這一的挑戰(zhàn)所誕生的一門新學(xué)科。近幾年來出現(xiàn)了一類新的數(shù)據(jù)應(yīng)用模型,包括:信用卡欺詐監(jiān)測(cè)、網(wǎng)絡(luò)安全監(jiān)控、傳感器數(shù)據(jù)和電力供應(yīng)網(wǎng)等。此類應(yīng)用模型的特點(diǎn)是海量的數(shù)據(jù)以高速有序的形式到達(dá),學(xué)者將此類數(shù)據(jù)形式稱之為數(shù)據(jù)流,即大量且連續(xù)的和

2、潛在無限的數(shù)據(jù)的有序序列。
　　 分類技術(shù)是數(shù)據(jù)挖掘中一個(gè)非常重要的研究領(lǐng)域,而數(shù)據(jù)流模型自身的特點(diǎn)給傳統(tǒng)的分類技術(shù)帶來了新的挑戰(zhàn),即如何從快速到來的、海量的且數(shù)據(jù)分布可能發(fā)生變化的數(shù)據(jù)流中訓(xùn)練模型,來有效地預(yù)測(cè)未來的數(shù)據(jù)趨勢(shì)。近年來出現(xiàn)了大量的數(shù)據(jù)流分類算法:VFDT、CVFDT、加權(quán)集成分類器和在線Bagging和Boosting。
　　 分本的研究重點(diǎn)為分類帶有概念漂移的數(shù)據(jù)流技術(shù)。首先通過對(duì)概念漂移的分析,提出一

3、種概念漂移檢測(cè)方法。該方法使用統(tǒng)計(jì)學(xué)理論估計(jì)某一確定模型在最新概念上的真實(shí)錯(cuò)誤率的置信區(qū)間,在一定概率保證下檢測(cè)數(shù)據(jù)流中是否發(fā)生了概念漂移。其次使用該概念漂移檢測(cè)方法和核均值匹配(KMM)算法形成一種新的集成分類器框架,提出了一種數(shù)據(jù)流分類的新算法WSEC,并以理論和實(shí)驗(yàn)證明了該算法的有效性。最后提出了一種自適應(yīng)概念漂移的基于Hoeffding樹在線bagging分類算法(AHBag)。該算法對(duì)概念漂移檢測(cè)方法進(jìn)行修改使之適合在線挖掘,