基于Mahout的聚類算法的研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，隨之產(chǎn)生的數(shù)據(jù)量也急速膨脹，互聯(lián)網(wǎng)數(shù)據(jù)挖掘領(lǐng)域中的傳統(tǒng)聚類算法無(wú)法滿足海量數(shù)據(jù)處理的要求。特別對(duì)于文檔聚類而言，傳統(tǒng)的聚類算法主要處理人工數(shù)據(jù)集，并且文檔數(shù)據(jù)傾向于小型，以適應(yīng)單機(jī)處理。但是，在文檔聚類領(lǐng)域，這并不現(xiàn)實(shí)，因?yàn)槲臋n數(shù)據(jù)集往往巨大而且充滿噪音。云計(jì)算是一種新的專注于大數(shù)據(jù)和分布式并行處理的平臺(tái)，近年來(lái)發(fā)展迅速，在商業(yè)上取得了初步成功，也引起了學(xué)術(shù)界的注意。在云計(jì)算時(shí)代，可以利用云計(jì)算平臺(tái)重新設(shè)計(jì)和實(shí)現(xiàn)傳

2、統(tǒng)的聚類算法，降低時(shí)間和空間復(fù)雜度，高效地解決大數(shù)據(jù)的存儲(chǔ)和計(jì)算所遇到的瓶頸問(wèn)題。
　　ApacheHadoop是關(guān)于云計(jì)算的開(kāi)源項(xiàng)目，允許在廉價(jià)的大量集群上通過(guò)簡(jiǎn)單的MapReduce計(jì)算模型來(lái)分布式處理大數(shù)據(jù)集。從過(guò)去依賴昂貴的硬件轉(zhuǎn)而利用廉價(jià)節(jié)點(diǎn)間的分布存儲(chǔ)和并行計(jì)算來(lái)獲取高可用性。此外，Hadoop能夠偵測(cè)和解決節(jié)點(diǎn)失效的問(wèn)題，從而能夠提供在集群上個(gè)別節(jié)點(diǎn)失效的情況下的高可用性服務(wù)。其中MapReduce計(jì)算模型在底層依賴

3、于HDFS(HadoopDistributedFileSystem)文件系統(tǒng)，此分布式文件系統(tǒng)支持集群節(jié)點(diǎn)的本地存儲(chǔ)和計(jì)算。ApacheMahout是一個(gè)數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域的開(kāi)源的算法庫(kù)，這些算法都是建立在MapReduce編程模型和HDFS文件系統(tǒng)之上實(shí)現(xiàn)的。
　　本文以經(jīng)典聚類算法為例，深入討論基于Mahout的聚類算法的并行分布式設(shè)計(jì)和實(shí)現(xiàn)。同時(shí)改進(jìn)相關(guān)算法，總結(jié)聚類算法設(shè)計(jì)的一般方法和技巧?？梢灶A(yù)期Mahout是一個(gè)處