作業(yè)管理系統(tǒng)中基于數(shù)據(jù)感知的調度子系統(tǒng)的設計與實現(xiàn).pdf

1、由于位于多個物理位置上的多集群環(huán)境的出現(xiàn),和在這種環(huán)境下對數(shù)據(jù)訪問的限制和對數(shù)據(jù)管理的缺乏,導致了這種環(huán)境下缺乏對數(shù)據(jù)敏感型作業(yè)的有效管理。本文所研究的內容是開發(fā)能夠與LSF作業(yè)管理系統(tǒng)協(xié)作的調度子系統(tǒng),管理多集群中的數(shù)據(jù)資源并能夠根據(jù)集群中的數(shù)據(jù)資源高效和準確進行作業(yè)調度。
　　本論文主要是實現(xiàn)基于數(shù)據(jù)感知的調度,使作業(yè)在提交到系統(tǒng)后,系統(tǒng)能夠根據(jù)作業(yè)需要的數(shù)據(jù)和系統(tǒng)所掌握的集群中的數(shù)據(jù)信息來將作業(yè)派遣到集群中合適的計算結點上執(zhí)

2、行。為實現(xiàn)基于數(shù)據(jù)感知調度,本論文還完成了對集群中數(shù)據(jù)資源的管理。
　　本論文設計和實現(xiàn)了數(shù)據(jù)集管理模塊、storage管理模塊、緩存管理模塊、配置管理模塊、數(shù)據(jù)傳輸模塊、遠端數(shù)據(jù)管理模塊和調度模塊。在數(shù)據(jù)集管理模塊和storage管理模塊中,分別實現(xiàn)了對集群中數(shù)據(jù)集和storage的管理功能;在緩存管理模塊中,實現(xiàn)了對集群間傳輸?shù)臄?shù)據(jù)的緩存功能,并維護緩存數(shù)據(jù)的生命周期;在配置管理模塊中,實現(xiàn)了根據(jù)用戶配置的信息來進行系統(tǒng)信息初

3、始化功能;在數(shù)據(jù)傳輸模塊中,實現(xiàn)了在集群間傳輸數(shù)據(jù)的功能;在遠端數(shù)據(jù)管理模塊中,實現(xiàn)了集群與其他集群間共享數(shù)據(jù)信息的功能;在調度模塊中,實現(xiàn)了根據(jù)數(shù)據(jù)信息來制定調度決策的功能。通過以上模塊之間的交互,以及系統(tǒng)與作業(yè)管理系統(tǒng)的協(xié)作,實現(xiàn)了基于數(shù)據(jù)感知的調度,使數(shù)據(jù)敏感型作業(yè)能夠完全靠系統(tǒng)內部的管理和協(xié)調而成功運行在計算結點上。
　　通過本系統(tǒng)與LSF作業(yè)管理系統(tǒng)的協(xié)作,用戶能夠更專注于作業(yè)的邏輯而不需關心數(shù)據(jù)的分布,使得數(shù)據(jù)敏感型作