基于Key值解決MapReduce中Reduce負(fù)載不均衡算法.pdf

1、MapReduce計(jì)算框架以其簡潔的編程模型處理日志、文檔、報(bào)表和其他復(fù)雜的數(shù)據(jù)集分析，可是由于MapReduce計(jì)算框架采用的是默認(rèn)的哈希一次分區(qū)機(jī)制，在處理數(shù)據(jù)量很大的時(shí)候，就容易導(dǎo)致數(shù)據(jù)劃分不均勻出現(xiàn)數(shù)據(jù)傾斜的問題。雖然開源Hadoop系統(tǒng)為用戶提供了自定義分區(qū)的方法，但是在數(shù)據(jù)復(fù)雜而且沒有規(guī)律的情況下，是不清楚輸入的數(shù)據(jù)是怎么分布的，這樣也就不能夠?qū)懗鲇脩糇约憾x的分區(qū)方法，所以MapReduce計(jì)算過程中數(shù)據(jù)傾斜問題還是很難被

2、避免的。
　　為了解決數(shù)據(jù)劃分的不均衡，本文提出了一種將分區(qū)向Reducer指派時(shí)按照鍵值對中的key的種類進(jìn)行分區(qū)的方法。這種分區(qū)的思想是:
　?、賹鹘y(tǒng)分區(qū)的分區(qū)號與Reducer任務(wù)號一對一的關(guān)系轉(zhuǎn)換為多對一的關(guān)系;
　?、谕ㄟ^分區(qū)篩選算法和分配算法確定分區(qū)號和Reducer的對應(yīng)關(guān)系。以達(dá)到解決MapReduce任務(wù)中數(shù)據(jù)分布傾斜導(dǎo)致reduce負(fù)載不均衡的問題。
　　通過實(shí)驗(yàn)，對比