基于PlatformLSF平臺(tái)MapReduce的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、MapReduce，一個(gè)強(qiáng)大的編程模型，逐漸成為一個(gè)廣受歡迎的編程框架。它對(duì)于大規(guī)模的數(shù)據(jù)密集型計(jì)算是非常高效的。MapReduce編程模型有可能成為HPC（High Performance Computing）環(huán)境中潛在的新方法，而且很多人熱衷于研究其適用性。MapReduce工作負(fù)載可能只占總工作負(fù)載的一小部分，但是它們通常需要自己的獨(dú)立的環(huán)境，因此很難在傳統(tǒng)的高性能計(jì)算集群中支持。HPC集群通常使用并行文件系統(tǒng)，比如IBM GPF

2、S（global parallel file system）或者Lustre。
　　IBM PlatformLSF（load sharing facility）為HPC環(huán)境提供高級(jí)資源管理和高級(jí)資源調(diào)度。LSF是一個(gè)企業(yè)級(jí)軟件，在現(xiàn)存的異構(gòu)IT資源上分配工作，創(chuàng)建一個(gè)共享的靈活的具有容錯(cuò)性的基礎(chǔ)設(shè)施，在提供更快、更可靠的工作負(fù)載性能的同時(shí)降低成本。LSF最大限度地發(fā)揮HPC集群的性能優(yōu)勢(shì)。HPC高性能計(jì)算利用并行處理高效、可靠并快

3、速地運(yùn)行高級(jí)應(yīng)用程序。LSF用戶希望在LSF環(huán)境下提交并運(yùn)行MapReduce應(yīng)用，因此IBM公司決定啟動(dòng)該項(xiàng)目，本人有幸參與其中。為了實(shí)現(xiàn)MapReduce應(yīng)用在LSF HPC環(huán)境下運(yùn)行，本文使用了兩種方法。
　　第一種方法，即LSF基于Hadoop實(shí)現(xiàn)MapReduce應(yīng)用，允許用戶提交Hadoop MapReduce工作負(fù)載作為L(zhǎng)SF常規(guī)并行作業(yè)且在HPC集群環(huán)境下運(yùn)行，其中為用戶提供一個(gè)腳本，用戶將腳本和MapReduce

4、工作作為L(zhǎng)SF作業(yè)請(qǐng)求資源。一旦LSF作業(yè)啟動(dòng)運(yùn)行，腳本就會(huì)在分配的資源上自動(dòng)提供一個(gè)Hadoop集群，用戶不需要獲得root特權(quán)就可以基于提供的資源在HPC環(huán)境下配置Hadoop集群。由于每個(gè)LSF Hadoop作業(yè)擁有自己的資源/集群，因此本方法允許多個(gè)用戶共享高性能計(jì)算集群資源的公共池。LSF使用blaunch技術(shù)來(lái)啟動(dòng)和監(jiān)控LSF作業(yè)分配的Hadoop集群，以至于可以收集MapReduce工作負(fù)載以及控制整個(gè)作業(yè)生命周期。關(guān)于是

5、否使用HDFS管理數(shù)據(jù)，本文都進(jìn)行了實(shí)驗(yàn)，同時(shí)分別分析并比較了其性能。由于在作業(yè)運(yùn)行之前需要進(jìn)行Hadoop配置以及啟動(dòng)守護(hù)進(jìn)程，在作業(yè)運(yùn)行完成以后要進(jìn)行清理工作，這些都增加了很大的開(kāi)銷。同時(shí)Hadoop集群的故障會(huì)直接導(dǎo)致MapReduce任務(wù)的失敗。為了解決第一種方法的不足之處，本文提出了第二種方法
　　第二種方法是MapReduce作業(yè)直接在LSF HPC環(huán)境中運(yùn)行。在Hadoop框架中MapReduce與HDFS是緊密耦合

6、的，因此需將其從MapReduce框架中提取出來(lái)，通過(guò)利用內(nèi)在固有的分布式文件系統(tǒng)的功能，設(shè)計(jì)了所需的組件。首先是數(shù)據(jù)管理，其中包括輸入數(shù)據(jù)管理和分布以及輸出數(shù)據(jù)收集；其次是對(duì)MapReduce作業(yè)進(jìn)行轉(zhuǎn)換使其適用于HPC環(huán)境下的調(diào)度；最后是關(guān)于任務(wù)并行和同步控制，以及容錯(cuò)機(jī)制。MapReduce模型不僅體現(xiàn)了適用性同時(shí)也具備高性能。此設(shè)計(jì)使用了IBM GPFS并行文件系統(tǒng)，同時(shí)利用了LSF完備的高級(jí)資源管理，高級(jí)資源調(diào)度以及健壯的容錯(cuò)