網(wǎng)格中按多粒度分配作業(yè)資源模塊的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、網(wǎng)格以提供平臺(tái)或資源的共享為目標(biāo),能夠?qū)⒎稚⒃谝欢ǖ乩矸秶鷥?nèi)的異構(gòu)計(jì)算資源集成。網(wǎng)格為解決大規(guī)模的并行計(jì)算問(wèn)題提供了相對(duì)廉價(jià)的高性價(jià)比計(jì)算模型。
　　網(wǎng)格界著名產(chǎn)品LSF(LoadSharingFacility)是一種管理計(jì)算資源的網(wǎng)格計(jì)算軟件,能為用戶提供不同計(jì)算資源的單一系統(tǒng)鏡像。在LSF管理的集群中,經(jīng)常運(yùn)行需要大量計(jì)算資源的、跨越多個(gè)主機(jī)的并行作業(yè)。作業(yè)在運(yùn)行時(shí),主機(jī)之間交互的信息消耗大量的網(wǎng)絡(luò)帶寬,從而使整個(gè)集群的性能受

2、到影響。
　　本課題中,針對(duì)LSF管理的集群中并行作業(yè)影響系統(tǒng)性能的問(wèn)題提出了系統(tǒng)級(jí)的解決方案。在調(diào)度作業(yè)時(shí),用戶可以根據(jù)集群的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),請(qǐng)求不同粒度及數(shù)目的計(jì)算資源,同時(shí),還可以通過(guò)增加一些約束條件來(lái)限制資源的分配方式。針對(duì)不同的約束條件,LSF會(huì)按照不同的算法為作業(yè)分配資源,并最終運(yùn)行作業(yè)。
　　網(wǎng)格中按多粒度分配作業(yè)資源模塊實(shí)現(xiàn)了這個(gè)解決方案,并將其作為一種擴(kuò)展功能添加到LSF中。在不更改LSF現(xiàn)有框架的基礎(chǔ)上,增

3、加了三個(gè)子模塊,分別實(shí)現(xiàn)了不同的作業(yè)調(diào)度策略。這三個(gè)子模塊使用了LSF已有框架及API,能幫助LSF識(shí)別用戶配置的資源粒度信息,并按照用戶要求為作業(yè)分配資源。如何保存資源信息、正確調(diào)度作業(yè)并及時(shí)更新資源狀態(tài)是系統(tǒng)實(shí)現(xiàn)的難點(diǎn)。因此系統(tǒng)中增加了保存資源信息的數(shù)據(jù)結(jié)構(gòu),設(shè)計(jì)并實(shí)現(xiàn)了并行作業(yè)調(diào)度算法。
　　系統(tǒng)開(kāi)發(fā)完成之后,LSF在調(diào)度跨越多個(gè)主機(jī)的并行作業(yè)時(shí),調(diào)度時(shí)間會(huì)有所增加,但作業(yè)的執(zhí)行時(shí)間明顯下降,效率顯著提高。因此,本課題達(dá)到了