基于自動交換光網(wǎng)絡(luò)的MPI的設(shè)計與實現(xiàn).pdf

1、集群（Cluster）節(jié)點間互聯(lián)通信技術(shù)對集群系統(tǒng)進行并行計算的效率和擴展性有著極其重要的影響。光纖作為區(qū)域存儲網(wǎng)絡(luò)（Storage Area Network，SAN）在集群系統(tǒng)中有著迫切的應(yīng)用需求和良好的應(yīng)用前景：1）集群網(wǎng)絡(luò)對帶寬的需求在不斷增加。從100M發(fā)展到1Gb，再到目前的20Gb，未來仍有持續(xù)增加的趨勢；2）目前主流的集群網(wǎng)絡(luò)，如InfiniBand，Myrinet以及GE（千兆以太網(wǎng)）等在提供帶寬（20Gb）服務(wù)時運行成

2、本較高，且部分技術(shù)不夠成熟。相比之下，光纖目前最高已可達40Gb，且具有技術(shù)成熟、運行成本較低的優(yōu)點。 將光纖應(yīng)用到集群系統(tǒng)中的難點在于與集群軟件的兼容性和性能優(yōu)化。1）光纖網(wǎng)絡(luò)是基于電路交換（circuit switching）而非包交換（packet switching）。一旦連接建立，該連接上的帶寬資源就一直保留為該連接的用戶服務(wù)，直至通信雙方斷開連接資源才被釋放。因此直接將光纖網(wǎng)絡(luò)應(yīng)用到集群系統(tǒng)中去，會造成當前流行的一些

3、針對基于包交換的內(nèi)部互聯(lián)網(wǎng)絡(luò)的集群管理軟件的兼容性問題；2）光纖網(wǎng)絡(luò)只能建立點到點的連接，不能直接建立一對多或多對一的連接。雖然可以使用TCP/IP來間接實現(xiàn)組播的功能，但仍然需要在使用組播時考慮性能優(yōu)化的問題。 本文基于MPI（Message Passing Interface）對光纖網(wǎng)絡(luò)在集群中的應(yīng)用進行研究。MPI是目前最流行的并行編程消息傳遞規(guī)范，它為消息傳遞和相關(guān)操作提供了庫例程。很多集群上的并行應(yīng)用都是基于MPI開發(fā)

4、的，這其中就包括了用來評測TOP500（Top 500 Super Computers)的HPL（High Performance LINPAC）基準程序。MPICH2是目前比較流行的，對MPI標準的一個免費開源實現(xiàn)。基于MPICH2的源代碼，我們可以方便地進行二次開發(fā)，并進行相關(guān)的實驗工作。 本文利用ASON（Automatically Switched Optical Network）協(xié)議，主要研究如何將光纖網(wǎng)絡(luò)應(yīng)用于集群系

5、統(tǒng)的并行環(huán)境中。首先，我們設(shè)計并實現(xiàn)了BUNIA（Beyond UNI Agent），對ASON的UNI-C（UNI客戶側(cè)信令代理）協(xié)議進行封裝，用于向客戶端提供可以遠程調(diào)用的動態(tài)拆建光鏈路的接口。其次，結(jié)合對BUNIA的接口調(diào)用，我們通過改進MPICH2在消息傳遞中的點對點通信和組通信操作，設(shè)計并實現(xiàn)了ASON自動交換光網(wǎng)絡(luò)上的MPI消息傳遞庫AN_MPI。最后，我們通過實驗驗證了將光纖網(wǎng)絡(luò)應(yīng)用到集群系統(tǒng)的并行環(huán)境下可以帶來更高的通信