多核集群上的高性能MapReduce平臺(tái)的研究與實(shí)現(xiàn).pdf

1、高性能計(jì)算已經(jīng)在國(guó)家的科學(xué)研究和科技服務(wù)行業(yè)中占有舉足輕重的地位，高性能計(jì)算的發(fā)展水平已經(jīng)成為體現(xiàn)一個(gè)國(guó)家綜合科技實(shí)力的重要標(biāo)志。 高性能計(jì)算需要硬件支持和軟件支持。硬件支持就是高性能計(jì)算機(jī)(超級(jí)計(jì)算機(jī))。近幾年，多核技術(shù)蓬勃發(fā)展，為高性能計(jì)算注入強(qiáng)大動(dòng)力。以多核集群為主流架構(gòu)的高性能計(jì)算機(jī)正在成為高性能計(jì)算任務(wù)的最主要的硬件支撐平臺(tái)。不同并行計(jì)算機(jī)體系結(jié)構(gòu)模型的編程風(fēng)范不同。不同的并行編程風(fēng)范，是建立在不同的并行編程模型上的。

2、共享變量和消息傳遞是最常用的兩類(lèi)并行編程模型。雖然其模型本身不難理解，但對(duì)并行的描述與表達(dá)層次較低，缺少對(duì)傳遞各種復(fù)雜的用戶(hù)自定義數(shù)據(jù)類(lèi)型的支持。開(kāi)發(fā)者在使用它們時(shí)，必須花費(fèi)許多時(shí)間和精力來(lái)熟悉并顯式地使用它們所提供的各種同步、通信原語(yǔ)，借此來(lái)組織并行任務(wù)之間的協(xié)作關(guān)系。程序的復(fù)雜性常常會(huì)掩蓋并行算法和并行程序本身的結(jié)構(gòu)，導(dǎo)致對(duì)并行程序閱讀、維護(hù)和擴(kuò)展的巨大障礙。 因此，有必要研發(fā)新的并行編程模型及其開(kāi)發(fā)環(huán)境工具，使它們能在較高

3、的抽象層次上以一種更易理解和更易使用的方式來(lái)表述并行計(jì)算問(wèn)題，盡可能對(duì)開(kāi)發(fā)者隱藏或屏蔽并行任務(wù)間的交互細(xì)節(jié)，降低編程難度，同時(shí)又使程序保持很高的執(zhí)行效率。本文針對(duì)上述問(wèn)題開(kāi)展了以下研究工作： (1)分析傳統(tǒng)并行編程模型及其程序開(kāi)發(fā)環(huán)境，總結(jié)它們的特點(diǎn)，尋找需要改進(jìn)之處，為研發(fā)新的并行編程模型做準(zhǔn)備。 (2)研究MapReduce并行編程模型，分析其適合并行計(jì)算的優(yōu)點(diǎn)：高度抽象、編程簡(jiǎn)單、適用范圍廣、可擴(kuò)展性和可移植性好。

4、 (3)改進(jìn)Google的MapReduce模型，使其適合高性能計(jì)算需求。 (4)研究現(xiàn)有MapReduce平臺(tái)的設(shè)計(jì)思想和實(shí)現(xiàn)方法，設(shè)計(jì)和實(shí)現(xiàn)一套專(zhuān)門(mén)針對(duì)高性能計(jì)算的全新的MapReduce平臺(tái)--HPMR(High-Performance MapReduce)，作為新的并行編程環(huán)境工具。 (5)通過(guò)實(shí)驗(yàn)分析HPMR系統(tǒng)的性能，展示它具有簡(jiǎn)單、高效和實(shí)用的特點(diǎn)，說(shuō)明其可以作為新一代并行編程平臺(tái)應(yīng)用到實(shí)際并行應(yīng)用