布谷鳥搜索改進(jìn)的K-means聚類算法及其并行化實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，數(shù)據(jù)量呈爆發(fā)式增長，海量數(shù)據(jù)的高效處理和利用成為當(dāng)前社會面臨的最艱巨任務(wù)之一；同時(shí)如何高效率、低成本、準(zhǔn)確地從現(xiàn)有的海量數(shù)據(jù)中挖掘出潛在、有用的知識是數(shù)據(jù)挖掘領(lǐng)域研究面臨的一大難題。以K-means算法為代表的聚類分析是數(shù)據(jù)挖掘領(lǐng)域最重要的研究方向之一，K-means是一種典型的基于劃分方法的聚類算法，具有思路簡單、收斂速度快、時(shí)間復(fù)雜度近似于線性等特點(diǎn)，較適合應(yīng)用于海量數(shù)據(jù)的聚類；群體仿生優(yōu)化算法能夠

2、利用群體優(yōu)勢、并行搜索，以全局尋優(yōu)的方式快速獲得優(yōu)化問題最優(yōu)解，被認(rèn)為是目前處理 K-means聚類優(yōu)化問題最行之有效的方法。當(dāng)前已有很多學(xué)者基于多種不同的群體仿生智能算法對K-means聚類算法進(jìn)行優(yōu)化，但現(xiàn)有的K-means聚類改進(jìn)算法還存在以下兩個(gè)問題需進(jìn)一步完善：
　　①聚類過程中的全局尋優(yōu)能力不夠突出，容易陷入局部最優(yōu)；
　?、谠跀?shù)據(jù)量較大時(shí)的聚類效率不高，沒有充分利用服務(wù)器集群優(yōu)勢。
　　作者所做的主要工作

3、包括：
　?、偬岢鲆环N新型元啟發(fā)式基于仿生行為的改進(jìn)的布谷鳥搜索算法（Quantum-based Adaptive Cuckoo Search，QACS），解決了原始布谷鳥算法搜索步長的自適應(yīng)性問題，并引入量子運(yùn)算使該算法的搜索方向具有一定的傾向性。
　?、卺槍-means聚類算法易陷入局部最優(yōu)的問題，將新算法QACS與 K-means聚類算法相結(jié)合，提出了一種新的串行K-means聚類算法（K-means cluster

4、ing algorithm based on QACS，QACS-KMeans），提高了K-means聚類算法的全局搜索能力；
　　③針對K-means聚類算法在處理較大數(shù)據(jù)量時(shí)效率較低的問題，利用Hadoop分布式平臺的MapReduce編程模型實(shí)現(xiàn)了對新算法QACS-KMeans的并行化處理。
　　通過在虛擬機(jī)中搭建的Hadoop偽分布式集群對不同樣本數(shù)據(jù)集分別進(jìn)行10次準(zhǔn)確性實(shí)驗(yàn)和效率實(shí)驗(yàn)，結(jié)果表明：
　　①并行

5、QACS-KMeans新算法聚類的平均準(zhǔn)確率在實(shí)驗(yàn)所采用的6種UCI標(biāo)準(zhǔn)數(shù)據(jù)集上，相比原始K-means聚類算法、利用粒子群優(yōu)化算法(Particle Swarm Optimization,PSO)改進(jìn)的K-means聚類算法和自適應(yīng)布谷鳥搜索(Adaptive Cuckoo Search,ACS)改進(jìn)的K-means聚類算法都有所提高；
　?、诓⑿蠶ACS-KMeans新算法聚類的平均運(yùn)行效率在實(shí)驗(yàn)所采用的5種大小遞增的隨機(jī)數(shù)據(jù)