高可用集群作業(yè)管理系統(tǒng)的研究與實現(xiàn).pdf

1、隨著科技的發(fā)展和企業(yè)規(guī)模的擴大，越來越多的企業(yè)使用計算機處理常規(guī)化的作業(yè)任務，而單獨使用某一臺高性能的機器已經不能滿足日漸增多的業(yè)務，也存在擴展性差，無法保證高可用性以及性價比不高的問題，采用大量普通服務器組成的服務器集群已經是解決此問題的普遍方式。采用高速網(wǎng)絡連接大量普通計算機構建的計算機集群具有成本低，性能高，批處理能力和并行計算能力很強的特點，因此，得到了快速發(fā)展和普遍應用。但是由于集群個體間的差異性，集群統(tǒng)一的資源管理，作業(yè)調度

2、，集群監(jiān)控，集群負載均衡等問題也成為使用集群處理作業(yè)需解決的首要問題，這促使了集群作業(yè)管理系統(tǒng)的產生。
　　本文首先對項目背景進行深入的研究，充分挖掘本項目所構建的高可用集群作業(yè)管理系統(tǒng)需要滿足的條件，然后對國內外典型的集群作業(yè)管理系統(tǒng)和調度算法進行了相關研究，分析每一種算法的優(yōu)缺點。在此基礎上，本論文以開源集群管理系統(tǒng)Torque為基礎，改進其作業(yè)調度算法，構建同時支持及時作業(yè)和定時作業(yè)的高可用集群作業(yè)管理系統(tǒng)。本論文主要工作如

3、下：
　　1.針對項目需求特點，引入面向對象中“繼承”的思想，利用“作業(yè)模板”和“執(zhí)行態(tài)”解決同類場景細節(jié)不同問題，簡化系統(tǒng)設計，同時也為用戶提供更簡潔方便的頁面操作。
　　2.利用穩(wěn)定的Haproxy+Keepalived組合，構建支持高可用和負載均衡的集群作業(yè)管理系統(tǒng)。為提高系統(tǒng)的高可用性，避免單點故障，同時能應對高并發(fā)的作業(yè)請求，本系統(tǒng)采用成熟穩(wěn)定的Haproxy+Keepalived組合，同時采用N+1冗余備份，構建

4、支持高可用和負載均衡的集群作業(yè)管理系統(tǒng)。
　　3.改進Torque系統(tǒng)薄弱的作業(yè)調度策略，提高系統(tǒng)性能。本論文重點研究開源集群管理系統(tǒng)Torque，分析其重要的數(shù)據(jù)結構以及作業(yè)調度模塊的具體執(zhí)行步驟，利用開源集群管理系統(tǒng)Torque構建本項目需要的集群作業(yè)管理系統(tǒng)，為改善Torque在作業(yè)調度方面的弱項，提出一種新的下次最小隊列相對負載調度算法來替換Torque本身比較薄弱的作業(yè)調度算法，并改進其先來先服務的作業(yè)選擇策略，避免大作

5、業(yè)對調度進程的阻塞，提高集群資源利用率和系統(tǒng)吞吐量。
　　4.借鑒cron定時表達式，支持定時作業(yè)。為支持定時作業(yè)，本論文系統(tǒng)借鑒Linux系統(tǒng)自帶的定時任務cron表達式規(guī)則，實時監(jiān)測定時作業(yè)，對于時間到達的定時作業(yè)投入到改進的Torque中處理，使得系統(tǒng)同時支持普通作業(yè)和定時作業(yè)。
　　本文針對集群作業(yè)管理系統(tǒng)所作的研究和優(yōu)化工作，有效地提高了集群管理系統(tǒng)的作業(yè)調度效率和集群資源利用率，同時可縮短用戶的作業(yè)響應時間，具有