面向概念漂移數(shù)據(jù)流的在線集成分類算法研究與應(yīng)用.pdf

1、在過去的幾十年里，數(shù)據(jù)挖掘分類算法發(fā)展迅速，出現(xiàn)了許許多多性能較好的算法。然而，隨著大數(shù)據(jù)時代的到來，由于數(shù)據(jù)量的增大，數(shù)據(jù)的多樣性增加以及數(shù)據(jù)的產(chǎn)生速度加快，這些基于靜態(tài)數(shù)據(jù)挖掘的傳統(tǒng)分類算法已經(jīng)很難再保證良好的應(yīng)用可行性以及較高的分類準(zhǔn)確率。因此，針對大數(shù)據(jù)流，需要提出新的分類算法。本次研究所依賴的車聯(lián)網(wǎng)項目正是需要這類新的算法。
　　本文的研究內(nèi)容是集成分類方法的改進(jìn)與應(yīng)用，主要包含三個方面的內(nèi)容。首先，本文將對現(xiàn)有兩類集成

2、方法進(jìn)行研究，歸納兩類集成方法為適應(yīng)動態(tài)數(shù)據(jù)流所做的努力，并基于這些研究提出改進(jìn)集成方法的通用策略。然后，基于第一項工作中所提出的改進(jìn)策略，本文還將對兩個典型的集成方法 AUE、OSBoost進(jìn)行改進(jìn)。AUE算法作為塊集成方法的代表，本次研究將主要考慮將它轉(zhuǎn)變?yōu)樵诰€方法。OSBoost作為在線方法的代表，本次研究將主要考慮提升該算法的準(zhǔn)確率。最后，本文還將研究如何把現(xiàn)有集成方法應(yīng)用到實踐中去。
　　本文的主要成果如下：
　　

3、1、基于現(xiàn)有算法，提出了三種改進(jìn)集成方法的通用策略。首先，使用增量式賦權(quán)機(jī)制能夠確保模型對最近最新的數(shù)據(jù)有較高的適應(yīng)能力。其次，使用自適應(yīng)分類器作為集成組件能夠大幅度提升集成方法對突變型概念漂移的適應(yīng)能力。最后，概念漂移檢測器的使用，使得集成方法能夠更精確的識別概念漂移并適應(yīng)概念漂移。實驗表明，這三種策略對集成方法的泛化準(zhǔn)確率具有不同程度的提升。
　　2、基于上一結(jié)論，對兩種集成方法進(jìn)行了改進(jìn)。首先，針對塊集成方法AUE，本文通過

4、設(shè)計并對比四種改進(jìn)方案的結(jié)果，提出了在線集成算法OAUEAdwin。然后，針對在線方法 OSBoost算法，本文通過增加概念漂移檢測器并修改其賦權(quán)機(jī)制將其改進(jìn)為OSBoostAdwin算法。實驗結(jié)果表明，新的算法具有更高的泛化準(zhǔn)確率。同時，也再次證明了三種改進(jìn)策略的可行性。
　　3、為了探索集成方法的應(yīng)用可行性，本次研究還基于VRSS平臺與MOA平臺整合出了實時數(shù)據(jù)流挖掘平臺 VRSS-MOA。基于 VRSS-MOA平臺，本文對比