基于Hadoop和Hama平臺的并行算法研究.pdf

1、當(dāng)前，隨著Internet的不斷發(fā)展，互聯(lián)網(wǎng)中的數(shù)據(jù)呈現(xiàn)爆炸性的增長。如何對這些數(shù)據(jù)進行存儲和處理成為新的挑戰(zhàn)。處理大數(shù)據(jù)一般是使用性能較高的服務(wù)器或者是服務(wù)器集群。這一方案存在價格昂貴，擴展性差等缺點。因此越來越多的研究人員把目光投向并行計算和云計算。云計算對大數(shù)據(jù)的處理和挖掘有著天然的優(yōu)勢。
　　 本文正是以此為出發(fā)點，旨在對基于Hadoop和Hama云計算平臺如何實現(xiàn)算法并行化進行研究。本文首先介紹了Hadoop和Hama

2、云計算平臺，MapReduce和Bsp編程模式的關(guān)鍵技術(shù)。之后基于現(xiàn)有的實驗資源搭建Hadoop和Hama云計算環(huán)境用于并行算法的實現(xiàn)與測試。
　　 本文重點是如何使用Hadoop和Hama云計算平臺實現(xiàn)一些算法的并行化。主要包括基于Hadoop平臺實現(xiàn)相關(guān)數(shù)據(jù)挖掘算法和圖論算法的并行化，基于Hadoop平臺矩陣乘法的并行化，基于Hama平臺圖論算法的并行化。
　　 許多基于MapReduce實現(xiàn)的并行算法都是迭代算法，

3、如文章中介紹的K-means聚類算法，單源最短路徑算法等。本文創(chuàng)新性地對這一類算法進行總結(jié)和歸納，得出了這一類算法的一般編程步驟，并對相關(guān)的數(shù)據(jù)存儲方式的性能進行分析?；贐sp編程模式文章中主要介紹和實現(xiàn)了三個算法：計算π值，求無向圖的連通分量，單源最短路徑算法。
　　 Hadoop和Hama都有其自身的適用環(huán)境，本文分別對基于Hadoop平臺和Hama平臺實現(xiàn)的無向圖連通分量算法進行理論分析和比較，最后通過實驗對兩者的性能進