大規(guī)模集群系統(tǒng)的任務調(diào)度和資源管理.pdf

1、集群技術(shù)是分布式計算的一個重要發(fā)展方向,目前,國外對它的研究非常深入,但國內(nèi)還處于起步階段。對于該領域的研究具有非常重要的意義,因為它與國家經(jīng)濟建設的眾多部門都有密切關系,在提高生產(chǎn)力、促進經(jīng)濟發(fā)展上具有很大的潛力。現(xiàn)在隨著技術(shù)的發(fā)展,集群的規(guī)模變得越來越大,已有集群的規(guī)模達到了上千節(jié)點,在這種大規(guī)模集群環(huán)境下如何對集群資源進行有效的管理,如何對并行計算任務進行調(diào)度是重要的研究方向。因此,本文將重點研究集群的資源管理和任務調(diào)度。

2、 首先,在研究了現(xiàn)有集群資源管理系統(tǒng)的基礎上,本文設計實現(xiàn)了一個集群資源管理系統(tǒng),該系統(tǒng)采用了分層分域的體系結(jié)構(gòu),避免分布式體系結(jié)構(gòu)中網(wǎng)絡消息過多的問題,減輕了集中式的單節(jié)點瓶頸問題,提高了獲取資源信息的實時性,具有良好的可擴展性,適用于不同規(guī)模的集群環(huán)境,并且可以用于多集群。 然后,本文對DAG并行任務調(diào)度算法進行了研究,以調(diào)度長度最小(即執(zhí)行時間最短)和減少所需的處理機數(shù)目為目標,設計了一個基于動態(tài)關鍵任務復制的多處理器分配