面向云計(jì)算的MapReduce并行編程模式的研究與應(yīng)用.pdf

1、高性能計(jì)算機(jī)的發(fā)展促使了高效能程序設(shè)計(jì)環(huán)境的產(chǎn)生與發(fā)展，尤其是并行編程模式的發(fā)展。一方面，由于并行機(jī)體系結(jié)構(gòu)的多樣性給并行程序的開發(fā)帶來了很多困難，因此怎樣簡(jiǎn)化并行編程提高開發(fā)效率成為了一個(gè)關(guān)鍵問題。另一方面，面向云環(huán)境，如何提高并行計(jì)算的能力以實(shí)現(xiàn)在海量數(shù)據(jù)中獲取有價(jià)值的信息也成為了互聯(lián)網(wǎng)中極需解決的問題。針對(duì)上述兩個(gè)問題，Google公司研發(fā)了一種新的并行編程模型MapReduce，它在高抽象層次上以易使用和易理解的方式來簡(jiǎn)單高效地

2、解決并行計(jì)算問題。
　　 論文在研究并行編程模型及其具體的并行程序開發(fā)模式的基礎(chǔ)上，緊緊圍繞云計(jì)算及其關(guān)鍵技術(shù)MapReduce并行編程模式展開研究，通過對(duì)MapReduce的實(shí)現(xiàn)框架、執(zhí)行過程及其實(shí)現(xiàn)平臺(tái)進(jìn)行分析與應(yīng)用，取得了以下研究成果：
　　 1、針對(duì)MapReduce缺乏一個(gè)快速高效的標(biāo)準(zhǔn)或規(guī)則來調(diào)整和優(yōu)化其作業(yè)執(zhí)行性能的問題，本文提出了提高M(jìn)apReduce性能的幾種技巧，先描述問題出現(xiàn)的狀況，再提出具體的解決

3、方法，最后在集群上進(jìn)行測(cè)試實(shí)驗(yàn)，且給出了使用技巧前后的對(duì)比性測(cè)試數(shù)據(jù)，可給MapReduce作業(yè)的開發(fā)者提供幫助。
　　 2、通過對(duì)MapReduce模型執(zhí)行過程的分析，針對(duì)單源最短路徑算法難以隨著云計(jì)算的產(chǎn)生和發(fā)展而得以廣泛應(yīng)用，其搜索效率也難以提高的問題，本文設(shè)計(jì)和實(shí)現(xiàn)了一種基于MapReduce框架的單源最短路徑算法的并行方法，并基于Hadoop平臺(tái)集群環(huán)境進(jìn)行了研究與實(shí)驗(yàn)，且分別對(duì)該問題的并行加速比、效率及可擴(kuò)放性進(jìn)行了