MapReduce并行編程模式的應用與研究.pdf

1、當前，科學與工程計算中大規(guī)模數(shù)據(jù)處理的需求與日俱增。與此同時，高性能并行機的發(fā)展和硬件價格的下降使得高性能機器得到了廣泛推廣，與之相伴的是各種并行編程模式和并行編程語言的紛紛出現(xiàn)，并行計算的發(fā)展為各學科帶來福音的同時也帶來了一系列的問題。并行機體系結構以及并行編程語言和模式的多樣性為并行應用的開發(fā)帶來了極大的困難，增加了普通程序員的編程難度。因此，簡化并行編程，提高并行程序開發(fā)效率就成為了一個關鍵的問題。 很多并行編程模型和語言

2、抽象層次太低，導致程序員要關心很多底層實現(xiàn)細節(jié)。而MapReduce模式具有高層次的抽象，在MapReduce運行時系統(tǒng)的支持下程序員只需要關注對具體數(shù)據(jù)的處理，以及數(shù)據(jù)相關性的處理，極大的降低了并行程序的開發(fā)難度。但是除了網(wǎng)絡搜索領域外，如何使用MapReduce對其它領域(尤其是數(shù)值計算領域)的具體應用進行設計與分析還沒有系統(tǒng)、詳細的研究和闡述。為此，本文圍繞這些環(huán)節(jié)展開研究工作，具體研究工作與成果如下： 第一，研究了并行算

3、法空間中由任務組織、由數(shù)據(jù)分解組織和由數(shù)據(jù)流組織這幾種并行問題組織原則與MapReduce模式的關系，綜合MapReduce模式以及幾種原則的特性，給出了如何用MapReduce對這幾種不同原則描述的問題進行表述。 第二，將任務分解、分治策路、流水線等并行問題分析模式與MapReduce模式相結合，用MapReduce來描述這些并行模型，并且對每個模式中出現(xiàn)的典型應用或算法進行分析。并通過對MapReduce在這些模式上的應用和

4、對具體應用的分析，給出了使用MapReduce模式分析問題的步驟及方法。 第三，提出了在用MapReduce模式解決問題時所用到的關鍵數(shù)據(jù)結構，一方面是輸入數(shù)據(jù)的表示，其中包括輸入數(shù)據(jù)和輸入數(shù)據(jù)的特征，并結合矩陣數(shù)據(jù)劃分的分析過程，給出了數(shù)據(jù)結構的設計要點和方法。另一方面，分析了key值的作用，研究了key值與MPI中通信模式的關系，給出了選擇和設計key值的原則。 第四，將MapReduce引入數(shù)值計算領域，在HPMR