基于計算網(wǎng)格的集群系統(tǒng)資源管理與作業(yè)調(diào)度的研究與實現(xiàn).pdf

1、近年,集群技術(shù)得到了迅速的發(fā)展.隨著網(wǎng)格技術(shù)的出現(xiàn),對集群系統(tǒng)提出了新的要求.作為網(wǎng)格計算的基礎(chǔ),構(gòu)造一個高效、實用的集群管理系統(tǒng)為網(wǎng)格服務(wù)就顯得十分重要和迫切.作業(yè)調(diào)度是集群管理系統(tǒng)的核心部分,調(diào)度機(jī)制決定了作業(yè)執(zhí)行效率,良好的調(diào)度機(jī)制可匯集整個集群的處理能力,高效地在眾多用戶間分配資源,加快作業(yè)的執(zhí)行速度.作業(yè)調(diào)度與應(yīng)用密切相關(guān),具體應(yīng)用的特性在很大程度上影響和決定著調(diào)度系統(tǒng)的性能.作業(yè)運(yùn)行的資源需求多種多樣,同一作業(yè)在網(wǎng)格平臺上不

2、同資源的運(yùn)行情況也不盡相同,調(diào)度系統(tǒng)要找到它們最好的結(jié)合點以獲得高的系統(tǒng)吞吐率和快速響應(yīng)時間.作業(yè)運(yùn)行的不可預(yù)測性和負(fù)載的動態(tài)性給調(diào)度帶來了很大難度.調(diào)度實現(xiàn)時還要考慮具體的系統(tǒng)性能目標(biāo),必須通過制訂不同的調(diào)度算法來提高整個系統(tǒng)的性能.針對作為上海高校網(wǎng)格平臺的主結(jié)點機(jī)-自強(qiáng)2000集群系統(tǒng),我們研究和開發(fā)了一套基于Web Service的集群管理系統(tǒng).該系統(tǒng)對集群資源和用戶作業(yè)進(jìn)行管理與調(diào)度,并向上提供網(wǎng)格接口,對網(wǎng)格提供服務(wù).作者通

3、過對國內(nèi)外調(diào)度算法的研究與分析,特別針對自強(qiáng)2000系統(tǒng)的特點,從作業(yè)調(diào)度與集群資源管理等方面,應(yīng)用大量實驗證明了資源對作業(yè)運(yùn)行的影響,設(shè)計對資源負(fù)載衡量的方法.基于用戶對作業(yè)運(yùn)行時間估計不準(zhǔn)確的情況,還提出了修正運(yùn)行時間的方法.本文提出了基于作業(yè)類型,公平、共享的集群作業(yè)調(diào)度策略,有效的利用系統(tǒng)資源,發(fā)揮了各種資源的優(yōu)勢,并在此基礎(chǔ)上實現(xiàn)了作業(yè)調(diào)度中的資源預(yù)約機(jī)制.另外,為方便用戶使用,本系統(tǒng)還提供了簡單、實用的命令行命令及友好的圖形