多核集群上的高性能MapReduce平臺的研究與實現(xiàn).pdf

1、高性能計算已經(jīng)在國家的科學(xué)研究和科技服務(wù)行業(yè)中占有舉足輕重的地位，高性能計算的發(fā)展水平已經(jīng)成為體現(xiàn)一個國家綜合科技實力的重要標(biāo)志。 高性能計算需要硬件支持和軟件支持。硬件支持就是高性能計算機(超級計算機)。近幾年，多核技術(shù)蓬勃發(fā)展，為高性能計算注入強大動力。以多核集群為主流架構(gòu)的高性能計算機正在成為高性能計算任務(wù)的最主要的硬件支撐平臺。不同并行計算機體系結(jié)構(gòu)模型的編程風(fēng)范不同。不同的并行編程風(fēng)范，是建立在不同的并行編程模型上的。

2、共享變量和消息傳遞是最常用的兩類并行編程模型。雖然其模型本身不難理解，但對并行的描述與表達層次較低，缺少對傳遞各種復(fù)雜的用戶自定義數(shù)據(jù)類型的支持。開發(fā)者在使用它們時，必須花費許多時間和精力來熟悉并顯式地使用它們所提供的各種同步、通信原語，借此來組織并行任務(wù)之間的協(xié)作關(guān)系。程序的復(fù)雜性常常會掩蓋并行算法和并行程序本身的結(jié)構(gòu)，導(dǎo)致對并行程序閱讀、維護和擴展的巨大障礙。 因此，有必要研發(fā)新的并行編程模型及其開發(fā)環(huán)境工具，使它們能在較高

3、的抽象層次上以一種更易理解和更易使用的方式來表述并行計算問題，盡可能對開發(fā)者隱藏或屏蔽并行任務(wù)間的交互細(xì)節(jié)，降低編程難度，同時又使程序保持很高的執(zhí)行效率。本文針對上述問題開展了以下研究工作： (1)分析傳統(tǒng)并行編程模型及其程序開發(fā)環(huán)境，總結(jié)它們的特點，尋找需要改進之處，為研發(fā)新的并行編程模型做準(zhǔn)備。 (2)研究MapReduce并行編程模型，分析其適合并行計算的優(yōu)點：高度抽象、編程簡單、適用范圍廣、可擴展性和可移植性好。

4、 (3)改進Google的MapReduce模型，使其適合高性能計算需求。 (4)研究現(xiàn)有MapReduce平臺的設(shè)計思想和實現(xiàn)方法，設(shè)計和實現(xiàn)一套專門針對高性能計算的全新的MapReduce平臺--HPMR(High-Performance MapReduce)，作為新的并行編程環(huán)境工具。 (5)通過實驗分析HPMR系統(tǒng)的性能，展示它具有簡單、高效和實用的特點，說明其可以作為新一代并行編程平臺應(yīng)用到實際并行應(yīng)用