基于模糊C均值算法的數(shù)據(jù)流概念漂移檢測和更新機(jī)制研究.pdf

1、隨著數(shù)據(jù)時(shí)代的到來，帶有概念漂移的數(shù)據(jù)流聚類問題已經(jīng)逐漸成為了數(shù)據(jù)挖掘領(lǐng)域的一個(gè)研究熱點(diǎn)。實(shí)際應(yīng)用領(lǐng)域如智能電網(wǎng)配電研究，信用卡欺詐分析、網(wǎng)絡(luò)病毒入侵檢測、消費(fèi)者購物傾向分析等都涉及到概念漂移檢測的問題。數(shù)據(jù)流挖掘模型要求算法快速、及時(shí)對數(shù)據(jù)進(jìn)行處理分析，同時(shí)適應(yīng)、處理數(shù)據(jù)流中出現(xiàn)新的概念。本文針對發(fā)生概念漂移的數(shù)據(jù)流的特點(diǎn)，提出一種基于概念漂移檢測與系統(tǒng)更新的數(shù)據(jù)流聚類模型，對數(shù)據(jù)流聚類模型處理概念漂移和模型更新的問題進(jìn)行研究分析。在

2、研究分析中主要進(jìn)行以下工作:
　　(1)基于模糊C均值聚類算法與熵理論的概念漂移檢測算法。該算法以模糊C均值聚類為基礎(chǔ)，對數(shù)據(jù)流進(jìn)行模糊聚類處理，利用模糊理論中隸屬度的概念，得到數(shù)據(jù)流的信息熵，使用信息熵檢測數(shù)據(jù)流是否發(fā)生概念漂移。
　　(2)基于相關(guān)系數(shù)與信息熵的累積式的數(shù)據(jù)流系統(tǒng)更新機(jī)制算法。數(shù)據(jù)流發(fā)生概念漂移，原模型系統(tǒng)的正確率會降低，需要及時(shí)對模型進(jìn)行更新處理，但是，過度頻繁的更新同樣會造成系統(tǒng)性能下降甚至癱瘓。針對

3、這一問題，本文提出了累積式的模型更新機(jī)制。對于微小的概念漂移進(jìn)行積累，累積數(shù)據(jù)塊的相關(guān)系數(shù)方差大于閾值時(shí)再進(jìn)行更新。
　　(3)基于分類器池的概念漂移檢測機(jī)制。對已出現(xiàn)過的概念模式，使用分類器池機(jī)制對其進(jìn)行存儲，進(jìn)一步完善了聚類模型的概念漂移檢測功能，并增強(qiáng)了系統(tǒng)抗概念漂移的能力。實(shí)驗(yàn)選取了數(shù)據(jù)的分布輪廓與中心點(diǎn)兩個(gè)屬性構(gòu)成分類器池中的類別模式，并驗(yàn)證了聚類模型的有效性。
　　本文針對數(shù)據(jù)流的動(dòng)態(tài)變化性，提出了基于模糊理論與