流式數據的并行聚類算法研究.pdf

1、隨著計算機、移動和物聯網設備的普及，各類網絡應用逐漸泛在化，由此產生了大量多源、異構的流式數據，如網絡入侵數據、股票數據和天氣監(jiān)測數據等。流式數據具有多樣化、時序性、海量、連續(xù)到達、潛在無限等特點，從而使基于流式數據的挖掘任務變得更加復雜，且富有挑戰(zhàn)性。聚類作為一種無監(jiān)督的學習方式，是數據挖掘的一種重要方法，它能根據數據間的相似性對數據進行劃分，并根據劃分結果對數據進行歸類，從而有助于從海量數據中提取潛藏的、未知的、有價值信息。

2、　　基于流數據的數據挖掘一方面限制于有限的主存空間和低下的磁盤I/O效率，不能將數據全部持久化存儲；另一方面則受流式數據處理方法的制約，不能實時、在線挖掘。因而，如何實時、高效、可靠地處理流式數據，成為了數據挖掘方面一個值得關注的難點問題。近年來，并行與分布式計算、集群架構及其相關技術的迅速普及與應用，為解決大規(guī)模流式數據的實時挖掘帶來了曙光。本文將并行化的思想引入到流數據的聚類處理中，在分布式內存計算框架Spark下將聚類算法并行化，

3、實現數據在多臺計算機上的并行處理，從而提供高吞吐量、高容錯性的實時處理。本文具體研究內容如下：
　?。?）針對流式數據特點，對流式數據聚類算法進行了詳細研究，給出了流式數據聚類算法的分類，分析了分布式計算框架Hadoop上MapReduce編程模型的工作原理和實現機制，并在流數據處理方面與分布式內存計算框架Spark進行了比較，總結了Spark具有的并行處理優(yōu)勢。
　?。?）在研究 CluStream算法的基礎上，針對數據處

4、理時的時效性和算法參數敏感性問題，提出了一種針對流數據的基于變長滑動窗口和遺傳算法相結合的CluWin-GA聚類算法。實驗分析表明，該算法具有良好的時效性和可靠性，是一種具有動態(tài)自適應能力的流數據聚類新算法。
　?。?）將內存計算及并行化理念引入到流數據聚類過程中，繼而應用Spark分布式計算框架改進了流數據聚類算法的并行化策略。借助Spark平臺，本文實現了CluStream算法以及改進算法CluWin-GA的聚類并行化。結果表