網(wǎng)格中按多粒度分配作業(yè)資源模塊的設計與實現(xiàn).pdf

1、網(wǎng)格以提供平臺或資源的共享為目標,能夠?qū)⒎稚⒃谝欢ǖ乩矸秶鷥?nèi)的異構計算資源集成。網(wǎng)格為解決大規(guī)模的并行計算問題提供了相對廉價的高性價比計算模型。
　　網(wǎng)格界著名產(chǎn)品LSF(LoadSharingFacility)是一種管理計算資源的網(wǎng)格計算軟件,能為用戶提供不同計算資源的單一系統(tǒng)鏡像。在LSF管理的集群中,經(jīng)常運行需要大量計算資源的、跨越多個主機的并行作業(yè)。作業(yè)在運行時,主機之間交互的信息消耗大量的網(wǎng)絡帶寬,從而使整個集群的性能受

2、到影響。
　　本課題中,針對LSF管理的集群中并行作業(yè)影響系統(tǒng)性能的問題提出了系統(tǒng)級的解決方案。在調(diào)度作業(yè)時,用戶可以根據(jù)集群的網(wǎng)絡拓撲結構,請求不同粒度及數(shù)目的計算資源,同時,還可以通過增加一些約束條件來限制資源的分配方式。針對不同的約束條件,LSF會按照不同的算法為作業(yè)分配資源,并最終運行作業(yè)。
　　網(wǎng)格中按多粒度分配作業(yè)資源模塊實現(xiàn)了這個解決方案,并將其作為一種擴展功能添加到LSF中。在不更改LSF現(xiàn)有框架的基礎上,增

3、加了三個子模塊,分別實現(xiàn)了不同的作業(yè)調(diào)度策略。這三個子模塊使用了LSF已有框架及API,能幫助LSF識別用戶配置的資源粒度信息,并按照用戶要求為作業(yè)分配資源。如何保存資源信息、正確調(diào)度作業(yè)并及時更新資源狀態(tài)是系統(tǒng)實現(xiàn)的難點。因此系統(tǒng)中增加了保存資源信息的數(shù)據(jù)結構,設計并實現(xiàn)了并行作業(yè)調(diào)度算法。
　　系統(tǒng)開發(fā)完成之后,LSF在調(diào)度跨越多個主機的并行作業(yè)時,調(diào)度時間會有所增加,但作業(yè)的執(zhí)行時間明顯下降,效率顯著提高。因此,本課題達到了