多集群系統(tǒng)中作業(yè)管理的研究與實現.pdf

1、隨著分布計算技術的發(fā)展，并行處理系統(tǒng)已經從單一的、獨立的集群過渡到了合作的、互聯的分布式系統(tǒng)，多集群系統(tǒng)的作用日益突現。多集群系統(tǒng)的基本任務是為用戶提供一個統(tǒng)一的共享集群計算資源的環(huán)境，使用戶提交的作業(yè)根據計算需求可以在多個集群之間進行優(yōu)化調度，充分利用計算資源。 在多集群系統(tǒng)中，如何對作業(yè)進行合理調度，充分利用軟硬件資源對于多集群系統(tǒng)性能的發(fā)揮和集群的推廣應用具有舉足輕重的意義。目前作業(yè)管理系統(tǒng)大多針對單一的集群系統(tǒng)，對于集群

2、內部的作業(yè)調度研究比較深入，但是對于多集群范圍內作業(yè)管理的研究卻剛剛開始。由于計算資源的分布性、異構性、自治性等特點，使得多集群環(huán)境下的作業(yè)管理面臨巨大的挑戰(zhàn)。 本文系統(tǒng)而深入地研究了多集群系統(tǒng)中的作業(yè)管理問題，探討了多集群系統(tǒng)的特征，設計并實現了多集群作業(yè)管理系統(tǒng)。在此過程中，本文主要完成了以下工作：1)在對典型作業(yè)管理系統(tǒng)深入分析的基礎上，結合多集群系統(tǒng)的環(huán)境特點，提出了多集群作業(yè)管理系統(tǒng)的體系結構，對各功能模塊進行了詳細的

3、分析和設計，基于該體系結構以及上海大學自強系列集群環(huán)境，實現了一個多集群作業(yè)管理系統(tǒng)。2)具體闡述了現有作業(yè)調度算法對多集群系統(tǒng)支持的不足，并根據負載平衡相關技術以及一些影響和制約系統(tǒng)并行效能的關鍵因素，指出了動態(tài)負載平衡策略在多集群環(huán)境下應用的缺陷，提出并實現了一個多集群環(huán)境下的靜態(tài)集中式負載平衡算法。3)在上海大學多集群環(huán)境下，使用MPI并行作業(yè)對系統(tǒng)進行了測試和評價，并給出了benchmark基準對本系統(tǒng)的測試結果，結果顯示該作業(yè)