基于Hadoop迭代數據處理及其數據放置策略的研究.pdf

1、Hadoop是處理海量數據的分布式計算及存儲框架，在各行各業(yè)中得到的廣泛的應用，尤其是在互聯網用戶數如此龐大的環(huán)境下。但是Hadoop處理一些大數據應用仍然存在一些不足，如Hadoop處理圖結構數據。由于圖結構數據的強耦合特性，無法在一次mapreduce計算中得出結果，而是需要迭代化計算，甚至一次迭代包含多次mapreduce計算，從而需要重新啟動mapeduce任務，開銷較大，另外迭代過程中可能存在靜態(tài)數據的不必要傳輸，破壞了Had

2、oop設計的思想。
　　本文首先論述Hadoop處理迭代應用存在的問題以及一些解決方案，如HaLoop。在此基礎上提出了map端存儲策略，它主要是通過擴展mapper接口來充分利用map階段的計算以及利用在map端存儲靜態(tài)數據，以便可以在map階段完成靜態(tài)數據與動態(tài)數據相關計算，減少了數據傳輸到reduce階段完成計算的網絡開銷。
　　之后分析Hadoop的默認放置策略，該策略存在的一些缺陷。針對缺陷，考慮到數據備份的放置以