基于MPI的多層容錯高性能云計算平臺關(guān)鍵技術(shù)研究.pdf

1、隨著全球信息化浪潮的推進和計算機應用技術(shù)的不斷迭代更新，各行業(yè)需要處理的信息量越來越大，尤其實在航空航天、海洋開發(fā)、天氣預報等諸多領域，數(shù)據(jù)規(guī)模已經(jīng)達到TB甚至PB級，而如何存儲并處理這種規(guī)模的數(shù)據(jù)顯得至關(guān)重要，為了解決這一問題，引入云計算平臺這一概念。一方面，對于云計算平臺而言有兩個特點，一個是能分布式存儲大數(shù)據(jù)，另一個特點是將視任務執(zhí)行失敗為正常情況;但另外一方面，許多云平臺不適用于低延遲服務，并且在面對計算密集型任務時候顯得效率不

2、高，而MPI擅長計算密集型，并且通信迅速，消息傳遞延遲少，因而用MPI實現(xiàn)一個云平臺則顯得十分有意義。在本研究當中將主要研究如何構(gòu)建并實現(xiàn)能夠支持大數(shù)據(jù)存儲存并擁有多層容錯功能的MPI云平臺。
　　 針對上述問題，本文提出并實現(xiàn)出一個基于MPI的云平臺，為了讓此平臺能夠支持大數(shù)據(jù)存儲，因而實現(xiàn)了一個由MySQL構(gòu)建的分布式集群，并且多個MySQL節(jié)點存儲不一樣的數(shù)據(jù)，在此之上增加一個數(shù)據(jù)庫中間件層，以便能將這些數(shù)據(jù)庫節(jié)點聯(lián)立在一

3、起。而用戶在使用的時候，并不需要考慮此存儲架構(gòu)，使用起來就和單個MySQL的效果是類似的。另外一方面，考慮到MPI自身沒有提供響應的容錯機制，因而本研究者設計出3層容錯機制，分別是:任務失敗重調(diào)度、任務的CheckPoint/Restart以及進程遷徙，并且將此容錯機制獨立分離出接口，以便平臺開發(fā)者可以依據(jù)自身需求來定制其具體需求，也便于對此功能進行二次開發(fā)，而對于用戶而言，則可以依據(jù)其實際需求來設定容錯級別。
　　 經(jīng)過測試和