數(shù)據(jù)流分類中概念漂移及噪聲處理研究.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)和信息技術(shù)的快速發(fā)展,股票交易市場(chǎng)、氣象監(jiān)控、網(wǎng)絡(luò)安全、電子商務(wù)等眾多應(yīng)用領(lǐng)域都產(chǎn)生了大量的數(shù)據(jù),其中這些數(shù)據(jù)以流的形式存在,通常稱之為數(shù)據(jù)流。這些數(shù)據(jù)中蘊(yùn)含著大量的有價(jià)值的知識(shí)亟待挖掘,作為數(shù)據(jù)挖掘的重要分支,分類具有重要的應(yīng)用價(jià)值,因此數(shù)據(jù)流分類技術(shù)已成為數(shù)據(jù)挖掘的熱點(diǎn)之一。由于數(shù)據(jù)流的快速性、連續(xù)性和不可重復(fù)性三個(gè)特點(diǎn),使之傳統(tǒng)的數(shù)據(jù)挖掘算法難以有效地對(duì)其數(shù)據(jù)進(jìn)行處理。而且,數(shù)據(jù)流中數(shù)據(jù)隱含的目標(biāo)概念可能會(huì)隨著時(shí)間或

2、者環(huán)境的變化而改變,即概念漂移。另一方面,在現(xiàn)實(shí)環(huán)境中噪聲數(shù)據(jù)不可避免,噪聲數(shù)據(jù)的存在同樣影響了數(shù)據(jù)流分類模型的分類精度。因此如何有效地檢測(cè)概念漂移和處理噪聲數(shù)據(jù)給數(shù)據(jù)流分類挖掘技術(shù)帶來(lái)了極大的挑戰(zhàn)。
　　 本文針對(duì)數(shù)據(jù)流分類挖掘中概念漂移和噪聲處理的問(wèn)題展開了下面工作的研究:
　　 (1)概述并分析了已有的數(shù)據(jù)流分類挖掘算法在處理概念漂移和噪聲數(shù)據(jù)問(wèn)題上的優(yōu)缺點(diǎn)。
　　 (2)針對(duì)數(shù)據(jù)流分類中概念漂移的處理存在

3、的問(wèn)題,基于LDA(1inear discriminantanalysis)思想,提出了一種數(shù)據(jù)流分類算法IUDE(Incremental Updated Discriminanteigenspace)。該算法通過(guò)分析數(shù)據(jù)的特征空間,建立數(shù)據(jù)特征空間的模型,使用最近鄰分類技術(shù)對(duì)新的數(shù)據(jù)進(jìn)行分類。算法中使用增量的LDA方法來(lái)更新數(shù)據(jù)的特征空間來(lái)處理漸進(jìn)式的概念漂移,同時(shí)使用錯(cuò)誤率方差MSE(Mean Square Error)模型來(lái)處理突

4、變式的概念漂移。實(shí)驗(yàn)表明,該算法可以很好解決漸進(jìn)式和突變式兩種類型概念漂移同時(shí)發(fā)生的數(shù)據(jù)流分類精度不高的問(wèn)題。
　　 (3)當(dāng)隱含概念漂移的數(shù)據(jù)流中存在噪聲數(shù)據(jù)時(shí),現(xiàn)有的數(shù)據(jù)流分類算法的分類精度明顯下降。針對(duì)該問(wèn)題,提出了一種處理數(shù)據(jù)流中噪聲數(shù)據(jù)的方法FDBSCAN(Fast-DBSCAN),它是DBSCAN(Density Based Spatial Clustering of Applicationwith Noise)聚類