基于“天河”高速互連網(wǎng)絡(luò)的MPI聚合通信優(yōu)化.pdf

1、在現(xiàn)代MPI并行應(yīng)用中，聚合通信操作被廣泛使用。聚合通信操作不僅在科學(xué)計(jì)算上占據(jù)大部分時(shí)間消耗（有時(shí)可高達(dá)70％），同時(shí)也為程序員提供更便捷編程接口。然而軟件實(shí)現(xiàn)的聚合通信操作是基于點(diǎn)對(duì)點(diǎn)操作實(shí)現(xiàn)的，當(dāng)系統(tǒng)增大時(shí)，由于通信步驟、計(jì)算數(shù)據(jù)量和通信距離都增加了，聚合通信的耗時(shí)增加的很快，因此其可擴(kuò)展性很差。但應(yīng)用程序卻隨著系統(tǒng)的增大對(duì)于可擴(kuò)展性有了越來(lái)越高的要求，因此，對(duì)聚合通信進(jìn)行優(yōu)化變得也更加重要了。
　　加速聚合通信操作的一個(gè)有

2、效的方法是在網(wǎng)卡端使用卸載模式（offload），即在網(wǎng)卡端加入一些特殊部件來(lái)輔助處理機(jī)進(jìn)行聚合通信的數(shù)據(jù)移動(dòng)或者數(shù)據(jù)計(jì)算，也稱(chēng)為軟硬件結(jié)合的聚合通信操作?！疤旌印备咚倩ミB網(wǎng)絡(luò)使用在網(wǎng)卡端加入的觸發(fā)邏輯來(lái)卸載處理機(jī)端的數(shù)據(jù)移動(dòng)任務(wù)，本文即以“天河”高速互連網(wǎng)絡(luò)為基礎(chǔ)，研究MPI聚合通信優(yōu)化方法，主要取得了如下成果：
　　1)對(duì)α-β模型進(jìn)行擴(kuò)展，通過(guò)擴(kuò)展的模型計(jì)算出基于點(diǎn)對(duì)點(diǎn)的聚合通信操作時(shí)延，與基于offload實(shí)現(xiàn)的聚合通信進(jìn)

3、行對(duì)比。經(jīng)典的α-β模型只能適合聚合通信操作的定性分析，而不能進(jìn)行定量的分析，擴(kuò)展后的α-β模型能夠?qū)酆贤ㄐ挪僮鬟M(jìn)行定量分析，為后面與offload模式的聚合通信操作進(jìn)行對(duì)比；
　　2)提出基于offload實(shí)現(xiàn)的聚合通信評(píng)價(jià)模型，通過(guò)測(cè)試，能較好的預(yù)測(cè)實(shí)測(cè)數(shù)據(jù)，并為后面同步和廣播操作的算法設(shè)計(jì)提供理論分析?；趏ffload實(shí)現(xiàn)的聚合通信操作評(píng)價(jià)模型的提出為之后我們?cè)凇疤旌印备咚倩ミB網(wǎng)絡(luò)上進(jìn)行聚合通信優(yōu)化提供了理論依據(jù)，不僅如

4、此，也指導(dǎo)我們后面的聚合通信操作的優(yōu)化；
　　3)對(duì)基于offload實(shí)現(xiàn)的柵欄同步和廣播操作進(jìn)行算法優(yōu)化和測(cè)試分析并且對(duì)基于offload實(shí)現(xiàn)的收集操作進(jìn)行算法設(shè)計(jì)。柵欄同步操作和廣播操作為最常用的聚合通信操作，也可以應(yīng)用于許多聚合通信，我們實(shí)現(xiàn)了k-ary樹(shù)和k-nomial樹(shù)兩種算法的柵欄同步操作和廣播操作，同時(shí)從理論和實(shí)際測(cè)試給出兩種操作在性能取得最優(yōu)值時(shí)的k值，根據(jù)理論模型，基于觸發(fā)的聚合通信操作擁有良好的可擴(kuò)展性；

5、r>　　本文對(duì)擴(kuò)展的α-β模型和基于 offload實(shí)現(xiàn)的聚合通信操作評(píng)價(jià)模型進(jìn)行了實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果表明兩種模型均能較好的定量分析軟件和基于offload方式實(shí)現(xiàn)的聚合通信操作，并且模型也為后面進(jìn)行聚合通信操作優(yōu)化提供理論依據(jù)。同時(shí)在64個(gè)節(jié)點(diǎn)規(guī)模時(shí)，基于offload的柵欄同步操作比基于點(diǎn)對(duì)點(diǎn)的柵欄同步操作性能提高了2.17倍，對(duì)offload實(shí)現(xiàn)的柵欄同步和廣播操作進(jìn)行優(yōu)化，優(yōu)化后的柵欄同步操作性能進(jìn)一步提高1.1倍，廣播操在性能