云計(jì)算環(huán)境下的多數(shù)據(jù)集連接優(yōu)化.pdf

1、“大數(shù)據(jù)”時(shí)代的到來(lái)，加快了云計(jì)算技術(shù)的發(fā)展和推廣，眾多涉及海量數(shù)據(jù)處理的云平臺(tái)蓬勃涌現(xiàn)。云計(jì)算技術(shù)已逐步發(fā)展成熟，并深入人們生活、工業(yè)和研究的各個(gè)方面。MapReduce是一種已廣泛運(yùn)用到云計(jì)算數(shù)據(jù)處理的并行編程模型，如何使得MapReduce支持關(guān)系模型數(shù)據(jù)庫(kù)進(jìn)行復(fù)雜的數(shù)據(jù)處理已吸引不少企業(yè)界和學(xué)術(shù)界的研究。
　　 在大規(guī)模數(shù)據(jù)分析中，復(fù)雜處理要求越來(lái)越多，數(shù)據(jù)連接、查詢信息往往跨越多個(gè)數(shù)據(jù)集。現(xiàn)有的基于MapReduce的

2、多表連接機(jī)制多采用串行級(jí)聯(lián)方式實(shí)現(xiàn)，將多表連接分為多次兩表連接。該模式產(chǎn)生大量的中間數(shù)據(jù)，需要進(jìn)行多次數(shù)據(jù)傳輸，效率較低。因此，改善多表連接方式、提高多表連接效率成為基于MapReduce數(shù)據(jù)處理研究的一個(gè)亟待解決的問(wèn)題。
　　 本文首先介紹了云計(jì)算的相關(guān)技術(shù)、Hadoop平臺(tái)、HDFS和MapReduce編程模型，然后在此基礎(chǔ)上分析云環(huán)境中多數(shù)據(jù)集連接的實(shí)現(xiàn)和研究現(xiàn)狀，并提出基于二維節(jié)點(diǎn)矩陣的分級(jí)多表連接模型TD-HMJ(Tw

3、o-DimensionnodematrixbasedHierarchizedMulti-Join)。TD-HMJ首先設(shè)置對(duì)中key為元組結(jié)構(gòu)，通過(guò)一次Map過(guò)程處理所有連接屬性;然后建立二維Reduce節(jié)點(diǎn)矩陣，以一對(duì)一或一對(duì)多的方式傳輸中間結(jié)果;再進(jìn)行多組3(2)表并行連接:最后通過(guò)多級(jí)Reduce過(guò)程實(shí)現(xiàn)多組間連接。實(shí)驗(yàn)表明:TD-HMJ有效減少了多表并行連接時(shí)的數(shù)據(jù)傳輸量，縮短了多表連接時(shí)間，提高了連接效率。