流式數據的并行分類算法研究.pdf

1、近幾年隨著移動互聯(lián)網技術的發(fā)展，全球數據量與日俱增，人們已經進入大數據時代。隨著大數據而來的信息風暴正在改變著人們的生活方式、工作方式以及思維方式。傳統(tǒng)的數據挖掘技術也隨著大數據時代的到來面臨著巨大的挑戰(zhàn)，其中最大的挑戰(zhàn)是數據形態(tài)的改變，處理的數據形態(tài)由傳統(tǒng)的靜態(tài)數據變?yōu)楹Ａ縿討B(tài)數據。流式數據是大數據中最為典型的一種數據形式，它具有海量性、實時性及時變性等特點，這極大地加大了挖掘算法的復雜度。因此，如何設計出一種能夠適應流式數據特點的分

2、類算法，有效的解決流式數據分類面臨的問題，并從中挖掘新的知識，已成為學術界研究的熱點問題。本文從流式數據的基本特點入手，重點研究了概念漂移流式數據分類并行化的問題。
　　針對概念漂移致分類算法低效、分類精度低等問題，本文從流式數據的基本特點出發(fā)，以BP神經網絡作為基礎分類器，做了以下三個方面的工作：
　?。?）在分析近年來有關概念漂移相關研究成果、特點和產生原因的基礎上，給出了概念漂移的基本概念，總結了常用的概念漂移檢測方法

3、和處理機制。繼而針對流式數據分類的實時性要求，提出了采用歐氏距離判斷概念漂移的方法，并給出了概念漂移發(fā)生后的分類模型重新訓練和更新機制。
　?。?）針對分類器能檢測到概念漂移卻無法快速更新分類模型的問題，在增量式學習的基礎上，提出了一種增量式BP神經網絡概念漂移數據流分類算法——IBPNN-CDCA。該模型能在保存先前學習知識的基礎上，通過增量式學習動態(tài)更新神經元節(jié)點間的權值，避免了對分類模型重新訓練，從而使得BP神經網絡能快速適

4、應流式數據的變化。
　?。?）針對流式數據海量性的特點，研究了使用集群并行化處理流式數據的方法，給出了基于Spark的IBPNN-CDCA并行化算法。該算法可以運用整個集群的計算能力對流式數據進行分類，具有較高的數據吞吐量。
　　總之，本文針對流式數據的海量性、實時性與時變性的特點，利用并行化處理可以提高模型數據吞吐量的優(yōu)勢，分別提出并設計了增量式 BP神經網絡概念漂移數據流分類算法及其并行化分類算法。算法利用增量式在線學習