基于Hadoop平臺的Map-Reduce應用研究.pdf

1、隨著互聯網和3G的迅猛發(fā)展,其數據具有海量、多樣、異構、動態(tài)變化等特性。面對這些海量數據,常常陷入“數據豐富,信息貧乏”的尷尬境地。如何高效地從這些海量數據中挖掘有效信息已成為一個重要的研究內容。
　　在分析常見的分布式系統模型以及并行計算等相關技術的基礎上,結合MapReduce編程模型和Hadoop平臺的集群技術,提出了基于Hadoop集群平臺的MapReduce編程模型的并行編程框架,該編程框架的特點是借助開源技術和當前流行

2、的分布式技術滿足算法并行執(zhí)行的需求,用該框架改進Canopy-Kmeans算法,使Canopy-Kmeans算法執(zhí)行效率得到提高。同時該框架適用于大量其它算法。
　　Canopy-Kmeans算法對傳統Kmeans算法的改進體現在兩個方面:利用Canopy算法選出初始的K個聚類中心有利于消除孤立點,提高聚類的準確性;再次就是將數據進行Canopy有覆蓋劃分,在計算點離哪個聚類中心最近時不必計算其到所有聚類中心的距離,只要計算和它在