基于MapReduce的可擴(kuò)展協(xié)同聚類算法的研究與實(shí)現(xiàn).pdf

1、文本聚類作為數(shù)據(jù)挖掘領(lǐng)域的主要分支之一，在許多領(lǐng)域占據(jù)了重要的地位。人們在處理數(shù)據(jù)時(shí)，經(jīng)常遇到一些沒有標(biāo)簽的數(shù)據(jù)，而人們往往需要了解這些數(shù)據(jù)間的關(guān)系，以便應(yīng)用到實(shí)際情況中。為了解決這類問題，聚類算法應(yīng)運(yùn)面生。它是一種無監(jiān)督的學(xué)習(xí)算法，通過主動學(xué)習(xí)數(shù)據(jù)內(nèi)部的結(jié)構(gòu)，分析出數(shù)據(jù)的類別屬性，將相關(guān)的數(shù)據(jù)聚集到一起，不相關(guān)的數(shù)據(jù)分開，達(dá)到人們需要的結(jié)果。
　　 由于數(shù)據(jù)的表現(xiàn)形式多種多樣，聚類的算法也是種類繁多的。在文本聚類中數(shù)據(jù)用向量空

2、間模型表示，它把數(shù)據(jù)放在了一個(gè)向量空間中，通過距離的遠(yuǎn)近來判斷數(shù)據(jù)間的相關(guān)性。然而，這類算法通過數(shù)據(jù)本身的維度來度量聚類的效果，忽略了數(shù)據(jù)內(nèi)部的相關(guān)性，即本文中的特征的相關(guān)性。為此，本文研究了基于數(shù)據(jù)和特征兩個(gè)維度的協(xié)同聚類算法，發(fā)現(xiàn)該算法能取得比單一維度聚類更好的聚類效果。
　　 隨著信息技術(shù)的高速發(fā)展，海量數(shù)據(jù)、大數(shù)據(jù)的概念變得耳熟能詳，面對如此龐大的數(shù)據(jù)，原來的串行算法已不能滿足人們對算法速度和準(zhǔn)確率的要求，于是人們逐漸把

3、眼光轉(zhuǎn)向并行計(jì)算。隨著計(jì)算機(jī)硬件的發(fā)展，并行在多核的單機(jī)上也可以實(shí)現(xiàn)。然而這些并行模式大多是基于機(jī)器本身的，在面對規(guī)模越來越龐大的海量數(shù)據(jù)時(shí)，無法在單機(jī)上完成數(shù)據(jù)的并行計(jì)算。與此同時(shí)，Google提出的MapReduce并行模式，能在普通商用機(jī)器上部署集群，具有健壯性強(qiáng)，易伸縮的優(yōu)點(diǎn)，受到廣大并行計(jì)算研究者的歡迎。
　　 本文在研究協(xié)同聚類算法的過程中，采用MapReduce編程模式對協(xié)同聚類算法進(jìn)行改進(jìn)。在實(shí)驗(yàn)室中利用Hado