基于MPI的云計(jì)算平臺(tái)下計(jì)算依賴問題關(guān)鍵技術(shù)研究.pdf

1、對(duì)于高性能計(jì)算而言，由普通商用計(jì)算機(jī)組成的集群正在成為越來越流行的平臺(tái)。為了充分利用集群的計(jì)算和存儲(chǔ)能力同時(shí)簡(jiǎn)化分布式并行應(yīng)用程序的設(shè)計(jì)，科研機(jī)構(gòu)及科技公司研發(fā)出了一系列分布式并行計(jì)算框架以及云計(jì)算平臺(tái)。但通過分析它們的編程模型，發(fā)現(xiàn)這些框架及云計(jì)算平臺(tái)并不適用于存在計(jì)算依賴的作業(yè)或者說是不能有效地解決這類問題。
　　本文提出了基于有向圖的存在計(jì)算依賴的作業(yè)的編程模型，其核心就是用一個(gè)有向圖來表達(dá)存在計(jì)算依賴的作業(yè)分解后的各個(gè)任務(wù)

2、以及任務(wù)所執(zhí)行的計(jì)算間的依賴關(guān)系。根據(jù)編程模型的結(jié)構(gòu)來分析編程模型所對(duì)應(yīng)并行計(jì)算框架的核心過程，研究了任務(wù)所執(zhí)行計(jì)算間的依賴關(guān)系類型、依賴關(guān)系表示方法及任務(wù)調(diào)度機(jī)制。在上述基礎(chǔ)之上，基于MPICH（消息傳遞接口MPI的一種具體實(shí)現(xiàn)）設(shè)計(jì)并實(shí)現(xiàn)編程模型相應(yīng)的并行計(jì)算框架。MPI(Message Passing Interface)本身不提供容錯(cuò)機(jī)制，為了增強(qiáng)系統(tǒng)的可靠性及高可用性，本文在分析傳統(tǒng)的基于檢查點(diǎn)的卷回恢復(fù)協(xié)議的優(yōu)勢(shì)與不足之后，

3、設(shè)計(jì)出改進(jìn)的基于通信引發(fā)檢查點(diǎn)的卷回恢復(fù)協(xié)議：采用通信引發(fā)的檢查點(diǎn)設(shè)置協(xié)議可以確保作業(yè)從檢查點(diǎn)恢復(fù)時(shí)的正確性；進(jìn)程在設(shè)置檢查點(diǎn)時(shí)采用戶導(dǎo)向的檢查點(diǎn)設(shè)置機(jī)制可以有效地減少無錯(cuò)運(yùn)行時(shí)開銷；作業(yè)在出錯(cuò)恢復(fù)時(shí)采用三級(jí)容錯(cuò)恢復(fù)協(xié)議，可以將出錯(cuò)恢復(fù)限制在與失敗進(jìn)程有直接依賴關(guān)系的進(jìn)程范圍內(nèi)而不影響其他進(jìn)程的正常執(zhí)行，這樣就加快了作業(yè)的出錯(cuò)恢復(fù)過程。為了支持存在計(jì)算依賴的作業(yè)的三級(jí)容錯(cuò)恢復(fù)協(xié)議，本文研究并設(shè)計(jì)了不共享通信域的Worker間通信機(jī)制。最