大規(guī)模數(shù)據(jù)挖掘聚類算法的研究與實現(xiàn).pdf

1、數(shù)據(jù)挖掘技術(shù)集合了人工智能、機器學(xué)習(xí)、模式識別、統(tǒng)計學(xué)、數(shù)據(jù)庫、可視化技術(shù)等眾多領(lǐng)域?qū)W科，從大量數(shù)據(jù)中揭示出隱含的、先前未知的并有潛在價值的信息。數(shù)據(jù)挖掘作為引領(lǐng)當(dāng)今世界信息技術(shù)領(lǐng)域的關(guān)鍵技術(shù)，已經(jīng)引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注與研究應(yīng)用。
　　聚類分析作為數(shù)據(jù)挖掘功能的一個重要分支，是一種非監(jiān)督模式識別，至今已提出了大量的理論基礎(chǔ)和實現(xiàn)算法，取得了可喜的研究成果。但是，聚類中還存在著許多廣為人知的問題，隨著信息量的飛漲以及數(shù)據(jù)對

2、象的日趨復(fù)雜，聚類分析面臨著更多新的內(nèi)容和挑戰(zhàn)。這就要求引入新的聚類改進方法，并提出新的理論和方法去適應(yīng)新的應(yīng)用。
　　本文以硬k均值和模糊k均值為例，在深入研究傳統(tǒng)經(jīng)典聚類算法基礎(chǔ)上，對這兩種聚類分析方法進行了詳細探討與研究并提出幾點改進方法。認真學(xué)習(xí)了開源數(shù)據(jù)挖掘項目Weka，在此基礎(chǔ)上對模糊k均值算法進行了二次開發(fā)，并對算法的可靠性做了驗證實驗。為了適應(yīng)于大數(shù)據(jù)量的協(xié)同并行數(shù)據(jù)挖掘運算，引入了MapReduce設(shè)計模式，并采