基于數(shù)據(jù)流的概念漂移檢測及集成分類研究.pdf

1、大數(shù)據(jù)引領(lǐng)了信息時代的重要變革，影響了經(jīng)濟、科技和社會等各個層面，大數(shù)據(jù)的其中一種形式以海量實時數(shù)據(jù)流的方式呈現(xiàn)。這些海量的實時數(shù)據(jù)中隱藏著巨大的價值，如何更好的挖掘處理這些實時數(shù)據(jù)流已經(jīng)成為了國內(nèi)外數(shù)據(jù)挖掘領(lǐng)域的研究重點和熱點。
　　數(shù)據(jù)流具有有序性、實時性、高速性、動態(tài)性、潛在無限性等特點，對數(shù)據(jù)流的處理包含存儲、處理、分析和應(yīng)用等。概要結(jié)構(gòu)是用于解決數(shù)據(jù)流潛在無限性問題的處理技術(shù)，但現(xiàn)有的概要結(jié)構(gòu)算法存在著重構(gòu)數(shù)據(jù)流與原數(shù)據(jù)

2、流相對重構(gòu)誤差較大和參數(shù)難以調(diào)整的缺點。概念漂移檢測技術(shù)用于解決數(shù)據(jù)流的動態(tài)性問題，數(shù)據(jù)流集成分類具有較高的分類準確率和概念漂移適應(yīng)能力而被廣泛地應(yīng)用到數(shù)據(jù)流分類中。但概念漂移檢測和集成分類處理通常基于數(shù)據(jù)流標簽及時可用的假設(shè)，在實際應(yīng)用中這一假設(shè)很難成立。針對這些問題，本文做了以下三方面的工作:
　　(1)實現(xiàn)了基于simHash的數(shù)據(jù)流分層遺忘概要結(jié)構(gòu)（SH-HAS）。該結(jié)構(gòu)采用simHash算法獲取概要信息，并動態(tài)調(diào)整SH-

3、HAS結(jié)構(gòu)，解決了重構(gòu)數(shù)據(jù)集與原數(shù)據(jù)集誤差較大的問題。實驗證明，SH-HAS結(jié)構(gòu)具有更小的相對重構(gòu)誤差。
　　(2)改進FKNNModel概念漂移檢測算法，提出了MFKNNModel概念漂移檢測算法。MFKNNModel利用數(shù)據(jù)的空間分布的改變來檢測數(shù)據(jù)流概念漂移，并利用Spark Streaming高效并行計算來提升算法的運行效率，解決了FKNNModel算法中的人工干預(yù)及計算效率問題。實驗效果表明，在缺乏人工干預(yù)的情況下，MF

4、KNNModel具有良好的概念漂移檢測能力和較高的運行效率。
　　(3)提出了基于概念漂移的數(shù)據(jù)流集成分類模型(Ensemble Classifier Based onConcept-Drifting Data Stream，ECCDDS)。采用水平集成的方式生成基分類器，通過加權(quán)投票的方法對基分類器的分類結(jié)果進行投票，生成集成分類器的分類結(jié)果;ECCDDS算法首先形成數(shù)據(jù)流的概要結(jié)構(gòu)，然后引入概念漂移檢測算法MFKNNModel