基于Xen的虛擬機(jī)間MPI通信機(jī)制的研究與實(shí)現(xiàn).pdf

1、虛擬化技術(shù)能夠有效降低系統(tǒng)和應(yīng)用軟件的維護(hù)和管理成本，增強(qiáng)系統(tǒng)可靠性以及優(yōu)化資源配置，基于虛擬化環(huán)境構(gòu)建的大規(guī)模集群日趨流行。然而虛擬化技術(shù)尚未在性能關(guān)鍵的應(yīng)用系統(tǒng)中得到廣泛應(yīng)用，特別是高性能計(jì)算領(lǐng)域。MPI是當(dāng)今高性能計(jì)算環(huán)境中最主流的并行計(jì)算模型。在并行計(jì)算中，MPI進(jìn)程需要頻繁地通信，而I/O虛擬化所產(chǎn)生的額外開(kāi)銷，會(huì)顯著地降低虛擬機(jī)間MPI進(jìn)程的通信性能。大量已有工作對(duì)改善虛擬機(jī)間通信性能或MPI結(jié)點(diǎn)內(nèi)通信性能進(jìn)行了研究，然而同

2、時(shí)結(jié)合兩者的研究工作并不多。一個(gè)通用的虛擬機(jī)間通信框架往往沒(méi)有針對(duì)MPI應(yīng)用做特殊優(yōu)化，而結(jié)點(diǎn)內(nèi)MPI通信框架則無(wú)法在虛擬化環(huán)境中使用。
　　本文在同時(shí)考慮了虛擬化環(huán)境的特點(diǎn)以及MPI應(yīng)用的通信特征的基礎(chǔ)上，通過(guò)改進(jìn)虛擬機(jī)間通信模型，對(duì)同一臺(tái)物理機(jī)上的不同虛擬機(jī)內(nèi)的MPI進(jìn)程間的通信性能進(jìn)行了優(yōu)化。改進(jìn)后的模型將通信任務(wù)代理給一個(gè)隔離的后端通信模塊，通信虛擬機(jī)內(nèi)部的開(kāi)銷大幅降低，而進(jìn)程的通信與計(jì)算重疊能力也得到提升。同時(shí)，該模型更

3、有利于MPI長(zhǎng)消息傳輸與集合通信的優(yōu)化，能夠有效減少拷貝次數(shù)，并均衡系統(tǒng)中虛擬機(jī)的通信負(fù)載。此外，該模型保留了原生環(huán)境下利用硬件加速技術(shù)的能力，存在進(jìn)一步優(yōu)化通信性能的潛力。在改進(jìn)模型的基礎(chǔ)上，我們進(jìn)一步給出了基于Xen的虛擬機(jī)間MPI通信框架XNEM的設(shè)計(jì)和實(shí)現(xiàn)。XNEM前后端驅(qū)動(dòng)以內(nèi)核模塊的形式運(yùn)行在隔離的虛擬機(jī)中，不需要對(duì)操作系統(tǒng)或虛擬機(jī)監(jiān)視器做任何修改?？蚣芴峁┝撕?jiǎn)單而靈活的編程接口，能夠方便快速地將框架移植到已有的MPI庫(kù)中。

4、同時(shí)，我們?yōu)镸PICH庫(kù)編寫(xiě)了XNEM LMT模塊，將XNEM通信框架與MPICH庫(kù)整合。使用MPICH庫(kù)的MPI進(jìn)程可以在虛擬環(huán)境下將XNEM LMT模塊作為高性能的虛擬機(jī)間通信通道。選取了多個(gè)微基準(zhǔn)程序和HPC基準(zhǔn)程序?qū)NEM框架進(jìn)行實(shí)驗(yàn)驗(yàn)證。NetPIPE測(cè)試結(jié)果顯示，對(duì)于MPI長(zhǎng)消息傳輸，XNEM的通信吞吐率和延遲顯著優(yōu)于Xen虛擬網(wǎng)絡(luò)以及基于共享緩沖的通信模型。IMB基準(zhǔn)測(cè)試結(jié)果顯示12個(gè)被測(cè)MPI集合操作在XNEM框架下的