基于異構(gòu)計(jì)算平臺(tái)的MapReduce編程模型的研究.pdf

1、最近幾年對(duì)大規(guī)模處理和更復(fù)雜科學(xué)計(jì)算的需求，高性能計(jì)算的研究有了很大的發(fā)展，出現(xiàn)了一系列并行計(jì)算架構(gòu)，如Nvidia公司的統(tǒng)一設(shè)備計(jì)算架構(gòu)（CUDA）、Intel公司的集成眾核架構(gòu)(MIC)、IBM公司的CELL架構(gòu)。這些架構(gòu)對(duì)應(yīng)推出的加速器(Nvidia GPU，Intel Xeon Phi，IBM Cell)，具有很高峰值性能，高能效，較低功耗。異構(gòu)計(jì)算主要是指采用不同指令集架構(gòu)和體系結(jié)構(gòu)的計(jì)算處理單元組成系統(tǒng)的計(jì)算方式。由于對(duì)并行

2、化的需求不斷增長(zhǎng)，在高性能領(lǐng)域，異構(gòu)計(jì)算系統(tǒng)已越來(lái)越多地被采用。然而，充分挖掘異構(gòu)計(jì)算系統(tǒng)的能力，往往需要對(duì)異構(gòu)平臺(tái)中各處理器架構(gòu)的細(xì)節(jié)有很好的掌握，這對(duì)開發(fā)者來(lái)說(shuō)，是一項(xiàng)非常沉重的工作。
　　MapReduce是Google公司提出的一個(gè)大數(shù)據(jù)處理框架。MapReduce向用戶提供自定義的Map和Reduce接口，開發(fā)者只需要針對(duì)特定的應(yīng)用編寫Map和Reduce函數(shù)，就可以編寫并行分布式應(yīng)用。自從Google提出MapRedu

3、ce框架之后，開發(fā)者和研究人員開展了大量的研究工作。MapReduce作為大數(shù)據(jù)處理框架，廣泛應(yīng)用在數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、生物信息學(xué)等領(lǐng)域。在異構(gòu)系統(tǒng)上實(shí)現(xiàn)MapRedue編程模型，既能簡(jiǎn)化異構(gòu)系統(tǒng)上程序開發(fā)，充分利用異構(gòu)系統(tǒng)中各設(shè)備的計(jì)算能力，又能在大量領(lǐng)域得到應(yīng)用，具有很強(qiáng)的應(yīng)用價(jià)值，對(duì)異構(gòu)系統(tǒng)的研究具有重要意義。
　　在本文中，提出了一種基于異構(gòu)計(jì)算平臺(tái)的MapReduce編程模型HyMR。HyMR能充分利用異構(gòu)計(jì)算平臺(tái)中所有

4、計(jì)算設(shè)備的計(jì)算能力，如多核CPU，眾核GPU和Xeon Phi協(xié)處理器。我們將HyMR實(shí)現(xiàn)為一個(gè)可以擴(kuò)展的框架來(lái)處理所有計(jì)算設(shè)備上的通用操作，并使用可擴(kuò)展的運(yùn)行時(shí)系統(tǒng)來(lái)對(duì)設(shè)備有關(guān)的操作進(jìn)行擴(kuò)展。為了將我們的框架很好的映射到異構(gòu)架構(gòu)上，我們采用了兩層設(shè)計(jì)的方案:高層設(shè)計(jì)實(shí)現(xiàn)了混合任務(wù)調(diào)度器，對(duì)不同設(shè)備間的計(jì)算任務(wù)進(jìn)行分配調(diào)度;低層設(shè)計(jì)實(shí)現(xiàn)了HyMR適配器來(lái)作為底層MapReduce運(yùn)行時(shí)系統(tǒng)的抽象，通過(guò)HyMR適配器針對(duì)特定設(shè)備擴(kuò)展實(shí)現(xiàn)，

5、來(lái)實(shí)現(xiàn)HyMR編程模型對(duì)異構(gòu)計(jì)算平臺(tái)的擴(kuò)展。為了充分利用異構(gòu)平臺(tái)各設(shè)備的計(jì)算能力，我們采用了協(xié)同計(jì)算的方案和混合并行。同時(shí)提出了混合任務(wù)調(diào)度器、中間鍵值處理優(yōu)化、數(shù)據(jù)傳輸優(yōu)化等方案，來(lái)提高HyMR模型的性能。
　　HyMR在使用幾個(gè)常用MapReduce程序的大數(shù)據(jù)集上的測(cè)試發(fā)現(xiàn)，與目前CPU上最快的MapReduce程序Phoenix++相比，HyMR在異構(gòu)計(jì)算平臺(tái)上實(shí)現(xiàn)了高達(dá)18.7倍的加速，表現(xiàn)了較好的擴(kuò)展性，并且能實(shí)現(xiàn)對(duì)大