基于MapReduce的聚類算法并行化研究.pdf

1、隨著社會(huì)信息化的進(jìn)程，海量數(shù)據(jù)迅速出現(xiàn)，許多并行數(shù)據(jù)挖掘算法已被提出。聚類分析是數(shù)據(jù)挖掘的一種強(qiáng)有力的分析工具，其顯著特征就是不需要任何先驗(yàn)知識(shí)或信息，屬于無監(jiān)督學(xué)習(xí)。K-means算法是典型的基于劃分的聚類算法，簡單且易于實(shí)現(xiàn)，但也存在缺點(diǎn)，如對初始聚類中心敏感，易陷入局部最優(yōu)等。面對大規(guī)模海量數(shù)據(jù)和高維數(shù)據(jù)類型，傳統(tǒng)計(jì)算模型已經(jīng)難以提供所需的處理能力，Hadoop云計(jì)算平臺(tái)的出現(xiàn)為數(shù)據(jù)的處理提供了新的方式。
　　電力系統(tǒng)智能化

2、建設(shè)的不斷深入和推進(jìn)，電力系統(tǒng)數(shù)據(jù)呈現(xiàn)海量化、高維化的趨勢。當(dāng)今全球能源問題日益嚴(yán)峻，國內(nèi)外對智能電網(wǎng)的建設(shè)都進(jìn)行了深入推進(jìn)，伴隨著產(chǎn)生的電力數(shù)據(jù)呈指數(shù)級(jí)增長，成為了眾所關(guān)注的大數(shù)據(jù)。鑒于大數(shù)據(jù)在電網(wǎng)中出現(xiàn)的場合越來越多，有必要結(jié)合Hadoop云平臺(tái)，借助分布式冗余存儲(chǔ)及并行計(jì)算等，對電力海量數(shù)據(jù)的可靠、高效處理進(jìn)行研究。
　　本文利用云計(jì)算中的MapReduce并行框架對聚類分析中的K-means算法進(jìn)行并行化研究，并建模對電力

3、系統(tǒng)不良數(shù)據(jù)進(jìn)行檢測和辨識(shí)，主要的研究工作如下：
　　首先，針對傳統(tǒng)聚類算法無法滿足處理海量數(shù)據(jù)等情況，在分析現(xiàn)有K-means算法不足的基礎(chǔ)上，引入隨機(jī)抽樣和最大最小距離法等技術(shù)，并結(jié)合MapReduce并行計(jì)算框架，提出一種基于MapReduce的改進(jìn)K-means聚類算法—MR-IKmeans(MapReduce-based Improved K-means)。首先對數(shù)據(jù)集進(jìn)行多次隨機(jī)抽樣，然后運(yùn)用兩階段最大最小距離法以產(chǎn)生

4、最佳初始聚類中心，最后再用K-means算法進(jìn)行聚類。選用UCI知名數(shù)據(jù)集在Hadoop集群上的實(shí)驗(yàn)表明：該算法在收斂速度及聚類精度上優(yōu)于傳統(tǒng)K-means算法，且在處理海量數(shù)據(jù)時(shí)具有優(yōu)異的并行性能。
　　其次，針對電力系統(tǒng)中的不良數(shù)據(jù)將導(dǎo)致電力系統(tǒng)狀態(tài)估計(jì)結(jié)果的準(zhǔn)確性降低，而傳統(tǒng)聚類算法處理海量高維數(shù)據(jù)時(shí)單機(jī)計(jì)算資源不足，近年來較流行的MapReduce框架不能有效處理頻繁迭代計(jì)算等問題，提出一種基于Spark的并行K-mean

5、s算法辨識(shí)不良數(shù)據(jù)的新方法。以某一節(jié)點(diǎn)電力負(fù)荷數(shù)據(jù)為研究對象，運(yùn)用基于Spark的并行K-means聚類算法提取出日負(fù)荷特征曲線，分別對輸電網(wǎng)狀態(tài)估計(jì)中的不良數(shù)據(jù)進(jìn)行檢測和辨識(shí)。選用EUNITE提供的真實(shí)電力負(fù)荷數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，結(jié)果表明此方法能有效提高狀態(tài)估計(jì)結(jié)果的準(zhǔn)確性，與基于MapReduce框架的方法相比，具有更好的加速比、擴(kuò)展性，能更好的處理電力系統(tǒng)的海量數(shù)據(jù)。
　　在實(shí)驗(yàn)室搭建云計(jì)算集群并進(jìn)行實(shí)驗(yàn)測試與算例分析，結(jié)果證明，