基于Hadoop框架的大數(shù)據(jù)集連接優(yōu)化算法.pdf

1、MapReduce是Google開發(fā)的一種并行分布式計(jì)算模型，已在搜索和處理海量數(shù)據(jù)領(lǐng)域得到了廣泛的應(yīng)用，Hadoop是它的開源實(shí)現(xiàn)。MapReduce編程模型因?yàn)槠淞己玫目蓴U(kuò)展性、高可用性以及容錯(cuò)性而被廣泛地運(yùn)用于不同的領(lǐng)域，并且都獲得很多好評(píng)。但是，由于MapReduce分布式編程框架自身的局限性，使得該模型進(jìn)行表連接任務(wù)特別是多表連接任務(wù)時(shí)存在一定的不足。
　　本文首先針對(duì)基于MapReduce框架的通用二路連接算法RSJ的

2、不足提出了一種基于DistributedCache的改進(jìn)優(yōu)化算法。優(yōu)化算法的思想是在進(jìn)行RSJ算法進(jìn)行表關(guān)聯(lián)之前，將其中一個(gè)表的連接屬性的值提取出來(lái)并且經(jīng)過Bit-map壓縮成較小的“背景”數(shù)據(jù)存放到一個(gè)小的文件中，然后經(jīng)由DistributedCache機(jī)制傳輸?shù)礁鱾€(gè)節(jié)點(diǎn)上。再進(jìn)行RSJ算法實(shí)現(xiàn)二個(gè)表連接時(shí)，在Map階段可以通過讀取“背景”數(shù)據(jù)來(lái)過濾掉另一表中不滿足連接條件的元組，從而減少mapper輸出的數(shù)據(jù)來(lái)達(dá)到優(yōu)化的效果。

3、>　　之后，為了解決多路連接過程中頻繁出現(xiàn)中間結(jié)果集而帶來(lái)巨大的I/O開銷，本文采用了一種新的重定向mapper端輸出策略——“一對(duì)多分區(qū)”策略，該策略的好處是：能夠使得多個(gè)連接數(shù)據(jù)集中滿足連接條件的元素都可以一次性發(fā)送到同一個(gè)reducer進(jìn)行連接處理，從而實(shí)現(xiàn)一個(gè)MapReduce作業(yè)就能夠完成多表連接操作。并且基于該思想對(duì)原MapReduce框架進(jìn)行了改進(jìn)。
　　最后，在搭建的Hadoop并行計(jì)算平臺(tái)上進(jìn)行試驗(yàn)，以驗(yàn)證上述兩