大數(shù)據(jù)背景下的聚類算法研究.pdf

1、隨著計(jì)算機(jī)技術(shù)及互聯(lián)網(wǎng)的飛速發(fā)展，現(xiàn)代社會(huì)的數(shù)據(jù)正在以不可想象的速度膨脹，對(duì)大規(guī)模數(shù)據(jù)的管理利用已然成為一種現(xiàn)實(shí)需求和必然趨勢(shì)。聚類分析作為最常用的靜態(tài)數(shù)據(jù)分析方法，常用于模式識(shí)別、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等領(lǐng)域。隨著大數(shù)據(jù)時(shí)代的到來，聚類分析在大數(shù)據(jù)中的應(yīng)用也變得非常普遍。
　　Hadoop是云計(jì)算環(huán)境下一種分布式計(jì)算框架，它以低成本和高效率的特性贏得了市場(chǎng)的認(rèn)可，正成為一種大數(shù)據(jù)處理的開發(fā)環(huán)境。很多聚類算法在Hadoop平臺(tái)已實(shí)現(xiàn)，

2、比如K-means算法、譜聚類算法等。本文針對(duì)大數(shù)據(jù)處理背景下聚類算法的改進(jìn)，展開了如下主要工作:
　　(1)在Hadoop平臺(tái)下提出了一種基于Hash改進(jìn)的K-means算法。將海量高維的數(shù)據(jù)映射到一個(gè)壓縮的標(biāo)識(shí)空間，進(jìn)而挖掘其聚類關(guān)系，選取初始聚類中心，避免了傳統(tǒng)K-means算法對(duì)隨機(jī)選取初始聚類中心的敏感性，降低了K-means算法的迭代次數(shù)。又結(jié)合MapReduce框架將算法整體并行化，并通過Partition、Comb

3、ine等機(jī)制加強(qiáng)了并行化程度和執(zhí)行效率。實(shí)驗(yàn)表明，該算法不僅提高了聚類的準(zhǔn)確率和穩(wěn)定性，同時(shí)具有良好的處理速度;
　　(2)在Hadoop平臺(tái)下提出一種樹形聚類算法PAClustering。先基于權(quán)重，將整體數(shù)據(jù)按分布劃分成若干數(shù)據(jù)塊，并針對(duì)每個(gè)數(shù)據(jù)塊將緊湊的數(shù)據(jù)抽象成一個(gè)向量，形成微團(tuán)，最后通過樹形合并進(jìn)行聚類，在提高聚類準(zhǔn)確度的同時(shí)有效避免了傳統(tǒng)算法在聚類過程中的迭代運(yùn)算。并在大小數(shù)據(jù)集上做了仿真實(shí)驗(yàn)，實(shí)驗(yàn)表明，PAClust