云環(huán)境下科學(xué)工作流數(shù)據(jù)布局策略的研究.pdf

1、隨著信息時(shí)代的逐步推進(jìn)，科學(xué)工作流得到了廣泛的應(yīng)用。特別是在科研領(lǐng)域的應(yīng)用更是廣泛，如天文學(xué)，高性能物理學(xué)等。由于科學(xué)工作流需要的數(shù)據(jù)規(guī)模很大，為了執(zhí)行科學(xué)工作流，不僅需要很大的存儲(chǔ)空間，而且還需要有很強(qiáng)的計(jì)算能力和數(shù)據(jù)共享能力。隨著科研任務(wù)的日漸復(fù)雜和科研問題的日益多樣化，如何確?？茖W(xué)工作流的高效執(zhí)行已成為業(yè)界重要研究的問題。
　　云計(jì)算是基于網(wǎng)格計(jì)算、并行計(jì)算和分布式計(jì)算等的一種新型計(jì)算模式，其為科學(xué)工作流提供了一種更好的數(shù)據(jù)

2、處理方案。云環(huán)境有巨大的存儲(chǔ)空間和很強(qiáng)的計(jì)算能力，但是運(yùn)用云計(jì)算解決科學(xué)工作流問題仍然存在許多新的挑戰(zhàn)。云計(jì)算平臺(tái)是由多個(gè)數(shù)據(jù)中心所組成，數(shù)據(jù)存放在它的各個(gè)數(shù)據(jù)中心。隨著科學(xué)工作流的日益復(fù)雜，巨量的數(shù)據(jù)需要在各個(gè)數(shù)據(jù)中心之間進(jìn)行傳輸和交換，這將導(dǎo)致任務(wù)執(zhí)行效率的低下。因此，如何實(shí)現(xiàn)更好的數(shù)據(jù)布局，以顯著減少數(shù)據(jù)的移動(dòng)規(guī)模和移動(dòng)數(shù)據(jù)所帶來的時(shí)間消耗成為了一個(gè)嶄新的研究課題。
　　本文研究的主要問題是數(shù)據(jù)布局策略，以此優(yōu)化云環(huán)境執(zhí)行科

3、學(xué)工作流的效率。首先，針對(duì)目前已經(jīng)提出的基于聚類算法的布局策略進(jìn)行仿真分析。由于已有的聚類算法僅考慮了數(shù)據(jù)集規(guī)模的大小，沒有考慮數(shù)據(jù)中心之間帶寬的情況。所以當(dāng)移動(dòng)數(shù)據(jù)規(guī)模較大而帶寬較小時(shí)，任務(wù)執(zhí)行效率將明顯下降。本文在數(shù)據(jù)集移動(dòng)的規(guī)模和帶寬對(duì)數(shù)據(jù)布局優(yōu)化影響的基礎(chǔ)上，設(shè)計(jì)了改進(jìn)的基于聚類的數(shù)據(jù)布局策略。改進(jìn)的聚類算法先基于數(shù)據(jù)之間的數(shù)據(jù)依賴程度進(jìn)行數(shù)據(jù)的初始化布局;接著在任務(wù)執(zhí)行階段綜合考慮帶寬的對(duì)性能的影響，對(duì)任務(wù)進(jìn)行合理調(diào)度;最后對(duì)

4、中間生成的新數(shù)據(jù)進(jìn)行優(yōu)化布局，從而提高系統(tǒng)的綜合性能。仿真結(jié)果證明，改進(jìn)后的聚類策略能有效減少數(shù)據(jù)移動(dòng)的規(guī)模和移動(dòng)數(shù)據(jù)所消耗的時(shí)間。
　　隨后提出了兩階段的數(shù)據(jù)布局策略TSDPS(Twostagesofdataplacementstrategy)，根據(jù)布局?jǐn)?shù)據(jù)的不同在各個(gè)階段分別采用相應(yīng)的算法進(jìn)行布局。在初始化階段采用啟發(fā)式遺傳算法，綜合考慮到數(shù)據(jù)之間依賴度和整個(gè)云環(huán)境的負(fù)載均衡，設(shè)計(jì)了合理的適應(yīng)度函數(shù)，對(duì)初始化數(shù)據(jù)優(yōu)化布局;在運(yùn)