異構(gòu)集群作業(yè)管理調(diào)度平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、大數(shù)據(jù)并不是一個(gè)突然出現(xiàn)在生活中的新奇概念，特別是如果僅僅從3V(Volume/Variety/Velocity)特性來看的話。然而受制于從前記錄信息的載體（甲骨、玉版、鐘鼎、簡(jiǎn)帛、紙質(zhì)、磁帶）以及對(duì)信息分析處理的方式（受限于信息載體，只能是個(gè)體大腦的思考，分析和總結(jié)或者小規(guī)模群體的討論，思考，分析和總結(jié)）的先進(jìn)程度，人類從沒有像我們現(xiàn)在這樣如此強(qiáng)烈地感受到來自大數(shù)據(jù)的對(duì)生活方方面面的影響。
　　直到上世紀(jì)60、70年代，信息記錄

2、的電子化，PC的出現(xiàn)，互聯(lián)網(wǎng)的出現(xiàn)，再到最近幾年存儲(chǔ)載體硬盤和性能強(qiáng)大的PC的大幅降價(jià)，互聯(lián)網(wǎng)基礎(chǔ)設(shè)施的極大完善，才使得“大數(shù)據(jù)”從極少數(shù)特定領(lǐng)域的科研機(jī)構(gòu)、行業(yè)巨頭進(jìn)入普通人們的生活。
　　使用“大數(shù)據(jù)”的硬件條件已經(jīng)成熟，然而當(dāng)真切嘗試將“大數(shù)據(jù)”應(yīng)用到實(shí)際迫切需要的業(yè)務(wù)上的時(shí)候，依然面臨一個(gè)尷尬的境地:
　　1.集群是“大數(shù)據(jù)”事務(wù)處理的唯一承載體，于是我們還需一套系統(tǒng)來幫助我們處理這些頭疼的問題:集群軟硬件計(jì)算資源的

3、高效管理調(diào)度、集群的安全機(jī)制、目標(biāo)事務(wù)的作業(yè)化、作業(yè)的并行化、作業(yè)的高效管理調(diào)度、工作流引擎、與作業(yè)的實(shí)時(shí)交互、處理集群節(jié)點(diǎn)的平臺(tái)差異。
　　2.雖然我們有諸如:OpenPBS TORQUE，UNICORE，Sun Grid Engine，CONDOR, LSF, LOADLEVELER這樣眾多出眾的集群系統(tǒng)或者作業(yè)調(diào)度系統(tǒng)，但是要么價(jià)格不菲，要么針對(duì)特定平臺(tái)，要么針對(duì)特定性質(zhì)應(yīng)用，要么僅支持Unix/Linux架構(gòu)平臺(tái)下的集群異

4、構(gòu)，沒有真正免費(fèi)的“異構(gòu)”集群作業(yè)調(diào)度管理系統(tǒng)。
　　本文正是以上述情境為背景，圍繞“異構(gòu)集群作業(yè)管理調(diào)度系統(tǒng)”這個(gè)主題，闡述一個(gè)“異構(gòu)(Unix/Linux，Windows)集群作業(yè)調(diào)度系統(tǒng)-HATSUNE”的設(shè)計(jì)與實(shí)現(xiàn)。
　　論文的主要工作包括:
　　1.通過研究，分析UNICORE的多子集群管理架構(gòu)，工作流引擎架構(gòu)，設(shè)計(jì)HATSUNE的架構(gòu)，以期達(dá)到不用用兩套系統(tǒng)（子集群間的管理系統(tǒng)，子集群內(nèi)的管理系統(tǒng)）來實(shí)現(xiàn)異

5、構(gòu)集群節(jié)點(diǎn)資源的監(jiān)控，管理及其作業(yè)的調(diào)度管理。測(cè)試結(jié)果顯示，這一架構(gòu)是可行的，并且極大程度為集群管理者帶來了便利。
　　2.通過研究、分析開源的OpenPBS TORQUE的核心源碼，學(xué)習(xí)Unix/Linux下的通用集群作業(yè)調(diào)度系統(tǒng)的設(shè)計(jì)，作業(yè)調(diào)度器的設(shè)計(jì)以及用戶與作業(yè)實(shí)時(shí)交互方式的設(shè)計(jì)。
　　3.HATSUNE的架構(gòu)設(shè)計(jì)，包括以下九個(gè)層次/模塊:Server主進(jìn)程、作業(yè)調(diào)度器、節(jié)點(diǎn)/作業(yè)用戶Server控制臺(tái)、Unix/L