隱含概念漂移的數(shù)據(jù)流分類研究.pdf

1、隨著信息技術(shù)的不斷進步和計算機網(wǎng)絡(luò)的迅速發(fā)展，眾多應(yīng)用領(lǐng)域如網(wǎng)絡(luò)安全、股票分析、電子商務(wù)、氣象監(jiān)控等產(chǎn)生了大量的數(shù)據(jù)流，其中蘊含著豐富的有價值的知識亟待挖掘。作為知識發(fā)現(xiàn)的主要分支，分類具有重要的應(yīng)用價值，數(shù)據(jù)流的分類已成為數(shù)據(jù)挖掘研究的熱點之一。然而，由于數(shù)據(jù)流的無限性、快速性和持續(xù)性等特點，使得傳統(tǒng)的挖掘算法難以及時有效地對其進行處理，并且數(shù)據(jù)流中隱含的許多知識或概念會隨著時間或環(huán)境的變化而改變，即概念漂移，如何有效地發(fā)現(xiàn)和適應(yīng)概念

2、漂移給數(shù)據(jù)挖掘領(lǐng)域帶來了極大的挑戰(zhàn)。 本文針對隱含概念漂移的數(shù)據(jù)流的分類問題開展了以下工作的研究： (1)概述并分析了已有數(shù)據(jù)流分類算法在概念漂移問題處理方面的優(yōu)點及不足； (2)針對隱含概念漂移的數(shù)據(jù)流分類問題，設(shè)計了一種基于實例加權(quán)方法的數(shù)據(jù)流分類算法(EWAMDS)，根據(jù)各基分類器的預(yù)測結(jié)果調(diào)整訓(xùn)練實例的權(quán)值，以使構(gòu)造的模型快速地收斂于新概念；同時，為了提高算法的抗噪性，引入動態(tài)權(quán)值修改因子。實驗表明，這種

3、動態(tài)調(diào)整機制能有效提高算法的適應(yīng)性和抗噪性；并且，與weighted bagging相比，EWAMDS的時間開銷顯著降低、分類正確率顯著提高； (3)當發(fā)生突變式概念漂移時，舊基分類器以較小的權(quán)值參與組合仍會影響集成分類器的適應(yīng)性。為此，提出一種基于錯誤率方差的概念漂移檢測模型，當檢測到概念漂移時丟棄當前模型，并以此為基礎(chǔ)設(shè)計了MSEBDM算法。實驗表明了算法的有效性； (4)基于上述研究，實現(xiàn)了數(shù)據(jù)流分類EWAMDS系