基于集群間兩級(jí)并行的海量遙感數(shù)據(jù)調(diào)度模型設(shè)計(jì)與實(shí)現(xiàn).pdf

1、現(xiàn)代空間遙感技術(shù)的發(fā)展已經(jīng)使傳感器的空間分辨率、光譜分辨率和時(shí)間分辨率大幅度提高,使得遙感圖像的數(shù)據(jù)量大增,因而在遙感圖像處理領(lǐng)域出現(xiàn)了兩個(gè)主要問題:(1)遙感圖像的處理速度過慢。在遙感圖像處理中,受硬件條件的限制,人們從圖像中獲取信息的速度遠(yuǎn)遠(yuǎn)低于圖像數(shù)據(jù)量的增長(zhǎng)速度。(2)現(xiàn)有的單級(jí)并行調(diào)度算法已不能滿足遙感圖像的高性能、快速處理的要求。為解決上述問題,本文首先提出了一種基于集群間兩級(jí)并行的海量數(shù)據(jù)調(diào)度模型;在此基礎(chǔ)上,提出了基于集

2、群間兩級(jí)并行的任務(wù)調(diào)度算法,該算法主要由兩個(gè)層次的任務(wù)調(diào)度算法構(gòu)成:(1)集群間基于優(yōu)先級(jí)的任務(wù)調(diào)度算法。(2)單計(jì)算節(jié)點(diǎn)基于算法生成樹的遙感算法并行調(diào)度策略。因此,本文的研究工作主要從以下兩個(gè)方面展開:第一,集群間的負(fù)載均衡策略和任務(wù)調(diào)度算法,提出了一種基于優(yōu)先級(jí)的任務(wù)調(diào)度算法。第二,單計(jì)算節(jié)點(diǎn)如何采用多核多線程的方式加快遙感算法的執(zhí)行速度。最后,研究如何將本文提出的調(diào)度模型和兩級(jí)任務(wù)調(diào)度算法應(yīng)用到實(shí)際的系統(tǒng)開發(fā)實(shí)踐中,并論述了系統(tǒng)的

3、設(shè)計(jì)和實(shí)現(xiàn)過程。以下是本文所做的工作和貢獻(xiàn):
　　(1)提出了海量遙感數(shù)據(jù)并行處理模型。對(duì)幾種常見并行處理模型進(jìn)行研究,并分析海量遙感數(shù)據(jù)并行處理平臺(tái)應(yīng)達(dá)到的目標(biāo),結(jié)合遙感圖像處理的實(shí)際需求,提出了集群間兩級(jí)并行海量遙感數(shù)據(jù)并行處理模型。
　　(2)集群間基于優(yōu)先級(jí)的任務(wù)調(diào)度算法。這是應(yīng)用于海量遙感數(shù)據(jù)并行處理模型的第一級(jí)的調(diào)度算法,本文通過對(duì)幾種經(jīng)典任務(wù)分配算法的分析,結(jié)合遙感數(shù)據(jù)處理的實(shí)際需求,提出了一種適用于集群間的任

4、務(wù)調(diào)度算法,算法根據(jù)計(jì)算節(jié)點(diǎn)實(shí)時(shí)的性能和負(fù)載信息,來生成計(jì)算節(jié)點(diǎn)的優(yōu)先級(jí)隊(duì)列,經(jīng)過四個(gè)步驟將任務(wù)分給并行計(jì)算節(jié)點(diǎn);每次分配任務(wù)時(shí),均實(shí)時(shí)的調(diào)整優(yōu)先級(jí)隊(duì)列。同時(shí)給出任務(wù)求解過程的優(yōu)化操作,加快任務(wù)求解速度,節(jié)約計(jì)算資源。
　　(3)單計(jì)算節(jié)點(diǎn)基于算法生成樹的遙感算法并行執(zhí)行算法,該算法是應(yīng)用于海量遙感數(shù)據(jù)并處理模型的第二級(jí)任務(wù)調(diào)度算法。通過對(duì)遙感產(chǎn)品算法的拆分和依賴性分析,提出算法生成樹的概念,在此基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)了基于算法生成樹

5、的并行算法執(zhí)行方法,該算法能大幅度提高單計(jì)算節(jié)點(diǎn)的CPU利用率,縮短遙感算法的執(zhí)行時(shí)間。
　　(4)系統(tǒng)實(shí)現(xiàn)。結(jié)合環(huán)保部的實(shí)際業(yè)務(wù)需求和其自身的特點(diǎn),在.Net開發(fā)平臺(tái)下,實(shí)現(xiàn)了基于集群間任務(wù)并行和單計(jì)算節(jié)點(diǎn)內(nèi)部算法組件并行的海量遙感數(shù)據(jù)并行處理平臺(tái)——生態(tài)環(huán)境遙感產(chǎn)品生產(chǎn)分系統(tǒng),該系統(tǒng)部署后,在一定程度上緩解了生態(tài)保護(hù)與檢測(cè)方面的壓力,解決了大數(shù)據(jù)量遙感數(shù)據(jù)處理這個(gè)關(guān)鍵問題,實(shí)現(xiàn)了遙感圖像處理自動(dòng)化、規(guī)?；?并實(shí)現(xiàn)了遙感產(chǎn)品生產(chǎn)