基于Hadoop的MapReduce的性能分析與優(yōu)化.pdf

1、隨著網(wǎng)絡技術的快速發(fā)展，各類信息數(shù)據(jù)的增長速度越來越快，針對海量數(shù)據(jù)的處理需求，云計算逐漸成為業(yè)界的主流計算模式。MapReduce是云計算思想的編程模型，以其簡單實用的接口使得數(shù)據(jù)的并行處理變得簡單易行，為海量數(shù)據(jù)的計算處理提供了軟件支持。
　　迭代計算是MapReduce模型需要優(yōu)化的性能之一，本文首先分析了目前主流迭代框架存在的不足，特別是在抽象度不夠高，不能夠并行處理任務數(shù)據(jù)與靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)不能完全分離等方面。針對上述

2、問題對MapReduce框架進行了改進，通過分割Map任務和Reduce任務以及對迭代終止條件進行并行檢測，提出了相應的并行處理策略，解決了之前串行處理導致計算時間過長的問題，然后通過對 Map端存儲策略的改進，將靜態(tài)數(shù)據(jù)存儲到 Map端，直接在 Map端完成對靜態(tài)數(shù)據(jù)與動態(tài)數(shù)據(jù)的計算過程，使得一次迭代過程中的MapReduce數(shù)得到減少。
　　針對基于MapReduce的SVM分類算法對數(shù)據(jù)集的訓練是將各子節(jié)點訓練后得到的支持向

3、量進行合并，得到的分類器分類效率和準確率并不理想。為此，提出了一種改進的訓練算法 PISVMAM，該算法在各節(jié)點上運用遺傳算法來尋找子數(shù)據(jù)集的最優(yōu)核函數(shù)及參數(shù)，用得到的參數(shù)組合對子數(shù)據(jù)集進行訓練得到支持向量，合并每個節(jié)點訓練后的支持向量為全局支持向量，然后在各個節(jié)點上將子集與全局支持向量合并并作為新的訓練數(shù)據(jù)集，重復這四個步驟，直到全局支持向量不再變化時，則收斂到最優(yōu)分類模型。
　　通過程序的編寫及實驗平臺的搭建，優(yōu)化后的迭代框架