MapReduce數(shù)據(jù)流優(yōu)化的研究.pdf

1、隨著云計(jì)算技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)和科學(xué)計(jì)算領(lǐng)域需要處理的數(shù)據(jù)呈現(xiàn)出級(jí)數(shù)式增長(zhǎng)的趨勢(shì)，并行編程技術(shù)在這海量數(shù)據(jù)處理中發(fā)揮著重要作用。當(dāng)前運(yùn)用較多的是由Google提出的MapReduce分布式并行計(jì)算編程模型，它將處理過(guò)程抽象成map和redcue兩個(gè)函數(shù)，底層框架負(fù)責(zé)數(shù)據(jù)分片、任務(wù)調(diào)度、集群容錯(cuò)、集群間通信等任務(wù)。專家學(xué)者對(duì)MapReduce模型在集群中應(yīng)用存在的缺陷提出了幾種改進(jìn)模型，但大多只針對(duì)某一問(wèn)題或只適用于某一類應(yīng)用而缺乏普遍

2、性。
　　 本文借助數(shù)據(jù)流分析技術(shù)，對(duì)MapReduce進(jìn)行數(shù)據(jù)流分析與優(yōu)化，將其中的消息處理分割出來(lái)，來(lái)解決MapReduce集群中主節(jié)點(diǎn)的消息處理過(guò)重而造成負(fù)載失衡的問(wèn)題。隨之，采用消息代理機(jī)制對(duì)MapReduce模型進(jìn)行改進(jìn)。論文主要工作有:
　　 (1)對(duì)MapReduce數(shù)據(jù)流進(jìn)行分析與優(yōu)化。借助數(shù)據(jù)流分析技術(shù)，對(duì)模型進(jìn)行深入剖析，此部分主要分三個(gè)階段:MapReduce細(xì)節(jié)化處理，數(shù)據(jù)流分析與優(yōu)化，消息處理的

3、分割;并建立了面向MapReduce的消息代理理論模型。
　　 (2)提出MapReduce改進(jìn)模型。在MapReduce數(shù)據(jù)流優(yōu)化后，已較好地將消息處理從主節(jié)點(diǎn)的工作中分割出來(lái)。為該理論于實(shí)際模型中，本文采用消息代理機(jī)制(Message Broker Mechanism)，建立了基于消息代理機(jī)制的MapReduce改進(jìn)模型。
　　 (3)對(duì)改進(jìn)模型進(jìn)行實(shí)驗(yàn)仿真。借助Eucalytus基礎(chǔ)設(shè)施平臺(tái)構(gòu)建集群，以Hadoop

4、為運(yùn)行環(huán)境，NaradaBrokering為消息代理實(shí)體，建立了適合原模型和改進(jìn)模型實(shí)際運(yùn)行的平臺(tái)架構(gòu)。實(shí)驗(yàn)應(yīng)用包括音樂(lè)家相似度計(jì)算和k-means聚類計(jì)算，分別考察其平均負(fù)載和擴(kuò)展性的表現(xiàn)。
　　 實(shí)驗(yàn)數(shù)據(jù)得出，基于消息代理機(jī)制的MapReduce框架在數(shù)據(jù)密集型應(yīng)用中對(duì)主節(jié)點(diǎn)的負(fù)載均衡有一定的提高，本文實(shí)驗(yàn)的實(shí)例中集群中的主節(jié)點(diǎn)的平均負(fù)載值下降了3.71％;改進(jìn)模型在計(jì)算密集型應(yīng)用上雖然運(yùn)行時(shí)間上沒(méi)有顯著提高，但從加速比中看