MapReduce在科學(xué)計算中的研究與改進.pdf

1、隨著異構(gòu)數(shù)據(jù)的急劇增加，云計算應(yīng)運而生。作為云計算的編程模型MapReduce同樣也得到了廣泛的關(guān)注，特別是在學(xué)術(shù)界。為了解決覆蓋及中間數(shù)據(jù)的存儲等諸多問題，諸多學(xué)者提出了許多地改進辦法并形成了自己的編程模型，如有Hadoop、Twister和Haloop等。
　　 為了能夠?qū)崿F(xiàn)迭代算法，Haloop模型中增加了LoopControl機制，該機制在具體的實施時主要是增加了兩個函數(shù)，即ADDMap和ADDReduce，這兩個函數(shù)的

2、目的就在于來增加其迭代的次數(shù)。同時在Twister模型中也有相應(yīng)控制loop的機制。同樣，在本文中為了更好的執(zhí)行具有迭代的算法，不但保持了原有的接口和函數(shù)，而且還在Map函數(shù)、Reduce函數(shù)、ADDMap函數(shù)和ADDReduce函數(shù)中增加了一個參數(shù)M，M的作用主要是來區(qū)分科學(xué)計算中的四類算法的。如果M等于1就代表是第一類算法;如果M等于2時就代表第二類算法;如果M等于3時就代表第三類算法;如果M等于4時就代表第四類算法。由于第三類和第

3、四類算法都是具有迭代的算法，這時把該兩類算法經(jīng)常要用到的函數(shù)及接口都寫成了適配器。在具體做實驗時，開發(fā)人員就可以根據(jù)需要往函數(shù)體里面增加相應(yīng)的函數(shù)體。為了確保數(shù)據(jù)的安全，在實驗時變量被聲明成保護型。把那些變化不大的數(shù)據(jù)放在緩沖池，這樣一來就可在Slave節(jié)點的本地系統(tǒng)上讀寫數(shù)據(jù)，而不用從Master節(jié)點上讀寫數(shù)據(jù)，這樣不但可以減輕Master節(jié)點的工作量，而且可以提高運行效率。
　　 基于種種調(diào)度算法的缺點，提出改進的算法。該算

4、法增加如下參數(shù):計算成本，任務(wù)的最后期限和客服端機器的處理速度等參數(shù)，還設(shè)置了兩個隊列:計算資源隊列和最后期限隊列。其中，計算資源隊列中任務(wù)的優(yōu)先級是由計算成本來決定。計算計算成本時要乘以一個權(quán)值Weight，該權(quán)值的大小是由在Map函數(shù)、Reduce函數(shù)、ADDMap函數(shù)和ADDReduce函數(shù)中增加的參數(shù)M來決定。如果M等于1時，Weight也等于1;如果M等于2時，Weight也等于2;如果M等于3時，Weight也等于3;如果M