基于MapReduce連接算法的研究與優(yōu)化.pdf

1、對(duì)數(shù)據(jù)進(jìn)行處理的過(guò)程中，查詢(xún)操作是一種常見(jiàn)的操作。但是，由于MapReduce計(jì)算模型自身的局限性，在進(jìn)行連接操作時(shí)會(huì)出現(xiàn)網(wǎng)絡(luò)傳輸量過(guò)大、reduce端數(shù)據(jù)傾斜等問(wèn)題，影響整個(gè)集群的效率。因此，對(duì)基于MapReduce的連接算法進(jìn)行研究并著力提高算法性能，變得尤為必要。
　　首先，本文針對(duì)基于MapReduce兩表等值連接算法中網(wǎng)絡(luò)傳輸量過(guò)大的問(wèn)題，對(duì)基于BloomFilter的等值連接算法進(jìn)行優(yōu)化改進(jìn)。在利用BloomFilte

2、r對(duì)數(shù)據(jù)集進(jìn)行過(guò)濾時(shí)，優(yōu)化原來(lái)的方法，利用BloomFilter分別對(duì)兩個(gè)數(shù)據(jù)集進(jìn)行過(guò)濾，這樣就能過(guò)濾掉不在最終結(jié)果集中的大部分元組而無(wú)需發(fā)送到reduce端。
　　其次，本文針對(duì)MapReduce默認(rèn)哈希分區(qū)方法容易導(dǎo)致reduce端數(shù)據(jù)傾斜的問(wèn)題，對(duì)基于Hash虛擬重分區(qū)等值連接算法進(jìn)行優(yōu)化改進(jìn)。在reduce任務(wù)獲取map任務(wù)的元數(shù)據(jù)信息階段，采用整群抽樣的方法，抽取部分map任務(wù)節(jié)點(diǎn)獲取對(duì)應(yīng)的元數(shù)據(jù)信息，而不是讓reduc