MapReduce下區(qū)間連接方法研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，全球數(shù)據(jù)倍增，為大數(shù)據(jù)的分析和處理帶來(lái)了困難。MapReduce作為新興的數(shù)據(jù)密集型計(jì)算編程模型，在大數(shù)據(jù)分析與處理方面發(fā)揮了重要的作用。而區(qū)間連接是屬性取值在一個(gè)范圍內(nèi)的連接運(yùn)算，是大數(shù)據(jù)分析和處理的重要運(yùn)算，如何利用MapReduce編程平臺(tái)提升區(qū)間連接的效率具有重要的意義。
　　在Allen提出的區(qū)間元組概念、區(qū)間元組關(guān)系的基礎(chǔ)上，設(shè)計(jì)了一種基于集合分類實(shí)現(xiàn)二路區(qū)間和多路區(qū)間的連接算法。首先將參與運(yùn)算

2、的區(qū)間元組根據(jù)區(qū)間范圍均勻劃分成若干個(gè)分區(qū)，根據(jù)元組與分區(qū)是否有交集，將元組映射到相應(yīng)的分區(qū)集合，對(duì)每個(gè)元組在分區(qū)中的位置進(jìn)行分類，定義了四種類型的集合分類，并分析了每個(gè)分區(qū)中四種類型集合分類占分區(qū)數(shù)據(jù)總量的比例。其次用MapReduce分布式編程框架編程實(shí)現(xiàn)二路區(qū)間和多路區(qū)間連接算法。通過(guò)四種集合分類構(gòu)建的鍵值對(duì)可以過(guò)濾掉不需要參與連接的元組，減少M(fèi)ap端數(shù)據(jù)傳輸量和Reduce端數(shù)據(jù)計(jì)算量，提升區(qū)間連接的效率。最后，根據(jù)各個(gè)集合分類