基于自動(dòng)交換光網(wǎng)絡(luò)的MPI的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、集群（Cluster）節(jié)點(diǎn)間互聯(lián)通信技術(shù)對(duì)集群系統(tǒng)進(jìn)行并行計(jì)算的效率和擴(kuò)展性有著極其重要的影響。光纖作為區(qū)域存儲(chǔ)網(wǎng)絡(luò)（Storage Area Network，SAN）在集群系統(tǒng)中有著迫切的應(yīng)用需求和良好的應(yīng)用前景：1）集群網(wǎng)絡(luò)對(duì)帶寬的需求在不斷增加。從100M發(fā)展到1Gb，再到目前的20Gb，未來(lái)仍有持續(xù)增加的趨勢(shì)；2）目前主流的集群網(wǎng)絡(luò)，如InfiniBand，Myrinet以及GE（千兆以太網(wǎng)）等在提供帶寬（20Gb）服務(wù)時(shí)運(yùn)行成

2、本較高，且部分技術(shù)不夠成熟。相比之下，光纖目前最高已可達(dá)40Gb，且具有技術(shù)成熟、運(yùn)行成本較低的優(yōu)點(diǎn)。 將光纖應(yīng)用到集群系統(tǒng)中的難點(diǎn)在于與集群軟件的兼容性和性能優(yōu)化。1）光纖網(wǎng)絡(luò)是基于電路交換（circuit switching）而非包交換（packet switching）。一旦連接建立，該連接上的帶寬資源就一直保留為該連接的用戶服務(wù)，直至通信雙方斷開連接資源才被釋放。因此直接將光纖網(wǎng)絡(luò)應(yīng)用到集群系統(tǒng)中去，會(huì)造成當(dāng)前流行的一些

3、針對(duì)基于包交換的內(nèi)部互聯(lián)網(wǎng)絡(luò)的集群管理軟件的兼容性問(wèn)題；2）光纖網(wǎng)絡(luò)只能建立點(diǎn)到點(diǎn)的連接，不能直接建立一對(duì)多或多對(duì)一的連接。雖然可以使用TCP/IP來(lái)間接實(shí)現(xiàn)組播的功能，但仍然需要在使用組播時(shí)考慮性能優(yōu)化的問(wèn)題。 本文基于MPI（Message Passing Interface）對(duì)光纖網(wǎng)絡(luò)在集群中的應(yīng)用進(jìn)行研究。MPI是目前最流行的并行編程消息傳遞規(guī)范，它為消息傳遞和相關(guān)操作提供了庫(kù)例程。很多集群上的并行應(yīng)用都是基于MPI開發(fā)

4、的，這其中就包括了用來(lái)評(píng)測(cè)TOP500（Top 500 Super Computers)的HPL（High Performance LINPAC）基準(zhǔn)程序。MPICH2是目前比較流行的，對(duì)MPI標(biāo)準(zhǔn)的一個(gè)免費(fèi)開源實(shí)現(xiàn)?；贛PICH2的源代碼，我們可以方便地進(jìn)行二次開發(fā)，并進(jìn)行相關(guān)的實(shí)驗(yàn)工作。 本文利用ASON（Automatically Switched Optical Network）協(xié)議，主要研究如何將光纖網(wǎng)絡(luò)應(yīng)用于集群系

5、統(tǒng)的并行環(huán)境中。首先，我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了BUNIA（Beyond UNI Agent），對(duì)ASON的UNI-C（UNI客戶側(cè)信令代理）協(xié)議進(jìn)行封裝，用于向客戶端提供可以遠(yuǎn)程調(diào)用的動(dòng)態(tài)拆建光鏈路的接口。其次，結(jié)合對(duì)BUNIA的接口調(diào)用，我們通過(guò)改進(jìn)MPICH2在消息傳遞中的點(diǎn)對(duì)點(diǎn)通信和組通信操作，設(shè)計(jì)并實(shí)現(xiàn)了ASON自動(dòng)交換光網(wǎng)絡(luò)上的MPI消息傳遞庫(kù)AN_MPI。最后，我們通過(guò)實(shí)驗(yàn)驗(yàn)證了將光纖網(wǎng)絡(luò)應(yīng)用到集群系統(tǒng)的并行環(huán)境下可以帶來(lái)更高的通信