基于Map-Reduce并行計(jì)算模式的大量數(shù)據(jù)自動(dòng)聚類算法研究.pdf

1、作為一門無監(jiān)督學(xué)習(xí)技術(shù),聚類廣泛應(yīng)用在很多領(lǐng)域中,包括數(shù)據(jù)壓縮,文件檢索,人工智能,臨床圖像和微陣列分析等多方面。隨著信息技術(shù)的飛速發(fā)展,在這些領(lǐng)域中積累的數(shù)據(jù)量將不可避免地跨過Peta級(jí)門檻,那么如何解決海量數(shù)據(jù)的存儲(chǔ)并在其上進(jìn)行相應(yīng)數(shù)據(jù)挖掘以獲得我們想獲得的信息成為了當(dāng)前面對(duì)的兩個(gè)核心問題。海量數(shù)據(jù)存儲(chǔ)問題通過分布式技術(shù)得以解決。因此海量數(shù)據(jù)挖掘成為了今年的熱點(diǎn)問題。針對(duì)大量數(shù)據(jù)的聚類問題,我們提出了自己的算法并驗(yàn)證了算法的效果。<

2、br>　　本文應(yīng)用Map-Reduce分布式并行計(jì)算模式來實(shí)現(xiàn)對(duì)大量數(shù)據(jù)的自動(dòng)聚類。Map-Reduce[37]模式的優(yōu)點(diǎn)在于其本身可以由 Hadoop自動(dòng)管理大型計(jì)算機(jī)集群并將分布式計(jì)算任務(wù)以傳遞計(jì)算而非一般傳遞數(shù)據(jù)的方式分配給多臺(tái)機(jī)器,我們無需考慮計(jì)算調(diào)度問題,機(jī)器故障恢復(fù)和高效計(jì)算機(jī)之間通信等問題。文中算法優(yōu)點(diǎn)在于通過少量對(duì)實(shí)驗(yàn)結(jié)果不敏感的參數(shù)來準(zhǔn)確地確定海量數(shù)據(jù)中聚類后簇的個(gè)數(shù)和中心,同時(shí)為適應(yīng)海量數(shù)據(jù)挖掘的需求,算法的復(fù)雜度限

3、定在O(tn)(t為迭代次數(shù)),根據(jù)對(duì)正確率的不同需求可以通過增加固定參數(shù)大小的港式來獲得更精確聚類結(jié)果。
　　本文的主要研究內(nèi)容和研究成果歸納為以下幾個(gè)方面:
　　首先,對(duì)文中所涉及的聚類算法方面的背景理論知識(shí)進(jìn)行介紹,主要集中在確定簇的個(gè)數(shù)、初始中心選擇、簇的內(nèi)部聚類和分布式數(shù)據(jù)挖掘相關(guān)理論這四個(gè)方面。
　　其次,提出一種高效的自動(dòng)聚類算法,通過確定初始中心集合、中心移動(dòng)與融合三個(gè)步驟來實(shí)現(xiàn)自動(dòng)聚類過程。根據(jù)算法在

4、不同復(fù)雜數(shù)據(jù)分布情況下與K-MEANS、DBSACN、X-MEANS等算法的對(duì)比結(jié)果,我們證實(shí)了tnn-means算法在單機(jī)情況下的正確性和魯棒性。
　　然后,基于Map-Reduce分布式并行計(jì)算模式,我們將tnn-means算法在分布式模式下實(shí)現(xiàn)并對(duì)該算法進(jìn)行分析。通過對(duì)算法過程的說明,在理論上驗(yàn)證了單機(jī)情況下與分布式情況下的tnn-means算法的一致性。實(shí)驗(yàn)也驗(yàn)證了這一點(diǎn),同時(shí)實(shí)驗(yàn)結(jié)果也充分說明了文中算法在分布式下的正確性