基于MPI的多層容錯(cuò)高性能云計(jì)算平臺(tái)關(guān)鍵技術(shù)研究.pdf

1、隨著全球信息化浪潮的推進(jìn)和計(jì)算機(jī)應(yīng)用技術(shù)的不斷迭代更新，各行業(yè)需要處理的信息量越來(lái)越大，尤其實(shí)在航空航天、海洋開發(fā)、天氣預(yù)報(bào)等諸多領(lǐng)域，數(shù)據(jù)規(guī)模已經(jīng)達(dá)到TB甚至PB級(jí)，而如何存儲(chǔ)并處理這種規(guī)模的數(shù)據(jù)顯得至關(guān)重要，為了解決這一問(wèn)題，引入云計(jì)算平臺(tái)這一概念。一方面，對(duì)于云計(jì)算平臺(tái)而言有兩個(gè)特點(diǎn)，一個(gè)是能分布式存儲(chǔ)大數(shù)據(jù)，另一個(gè)特點(diǎn)是將視任務(wù)執(zhí)行失敗為正常情況;但另外一方面，許多云平臺(tái)不適用于低延遲服務(wù)，并且在面對(duì)計(jì)算密集型任務(wù)時(shí)候顯得效率不

2、高，而MPI擅長(zhǎng)計(jì)算密集型，并且通信迅速，消息傳遞延遲少，因而用MPI實(shí)現(xiàn)一個(gè)云平臺(tái)則顯得十分有意義。在本研究當(dāng)中將主要研究如何構(gòu)建并實(shí)現(xiàn)能夠支持大數(shù)據(jù)存儲(chǔ)存并擁有多層容錯(cuò)功能的MPI云平臺(tái)。
　　 針對(duì)上述問(wèn)題，本文提出并實(shí)現(xiàn)出一個(gè)基于MPI的云平臺(tái)，為了讓此平臺(tái)能夠支持大數(shù)據(jù)存儲(chǔ)，因而實(shí)現(xiàn)了一個(gè)由MySQL構(gòu)建的分布式集群，并且多個(gè)MySQL節(jié)點(diǎn)存儲(chǔ)不一樣的數(shù)據(jù)，在此之上增加一個(gè)數(shù)據(jù)庫(kù)中間件層，以便能將這些數(shù)據(jù)庫(kù)節(jié)點(diǎn)聯(lián)立在一

3、起。而用戶在使用的時(shí)候，并不需要考慮此存儲(chǔ)架構(gòu)，使用起來(lái)就和單個(gè)MySQL的效果是類似的。另外一方面，考慮到MPI自身沒有提供響應(yīng)的容錯(cuò)機(jī)制，因而本研究者設(shè)計(jì)出3層容錯(cuò)機(jī)制，分別是:任務(wù)失敗重調(diào)度、任務(wù)的CheckPoint/Restart以及進(jìn)程遷徙，并且將此容錯(cuò)機(jī)制獨(dú)立分離出接口，以便平臺(tái)開發(fā)者可以依據(jù)自身需求來(lái)定制其具體需求，也便于對(duì)此功能進(jìn)行二次開發(fā)，而對(duì)于用戶而言，則可以依據(jù)其實(shí)際需求來(lái)設(shè)定容錯(cuò)級(jí)別。
　　 經(jīng)過(guò)測(cè)試和