多數(shù)據(jù)中心環(huán)境中數(shù)據(jù)密集型科學(xué)工作流的執(zhí)行優(yōu)化研究.pdf

1、隨著大數(shù)據(jù)(Big Data)時(shí)代的到來(lái)，越來(lái)越多的科學(xué)實(shí)驗(yàn)面臨海量數(shù)據(jù)處理問(wèn)題，這些數(shù)據(jù)處理包含多個(gè)步驟且過(guò)程復(fù)雜，通?？山３蓴?shù)據(jù)密集型科學(xué)工作流。數(shù)據(jù)密集型科學(xué)工作流數(shù)據(jù)處理規(guī)模極其龐大，一般需要分布在多個(gè)數(shù)據(jù)中心的計(jì)算和存儲(chǔ)資源，以實(shí)現(xiàn)對(duì)數(shù)據(jù)密集型科學(xué)工作流執(zhí)行的有效支撐。其中，AMS實(shí)驗(yàn)數(shù)據(jù)處理和分析作為一個(gè)典型的數(shù)據(jù)密集型工作流應(yīng)用，也是將其海量的數(shù)據(jù)和計(jì)算任務(wù)分布到全球不同地區(qū)的多個(gè)數(shù)據(jù)中心進(jìn)行處理。然而，對(duì)于數(shù)據(jù)密集型科

2、學(xué)工作流而言，其在多數(shù)據(jù)中心中的執(zhí)行所引發(fā)的執(zhí)行效率問(wèn)題也日益突出。一方面，數(shù)據(jù)密集型科學(xué)工作流處理的數(shù)據(jù)量很大，數(shù)據(jù)往往分布在多個(gè)數(shù)據(jù)中心;另一方面，工作流任務(wù)可能以多個(gè)數(shù)據(jù)中心的數(shù)據(jù)作為輸入，往往需要通過(guò)網(wǎng)絡(luò)傳輸獲取相關(guān)數(shù)據(jù)。由于數(shù)據(jù)中心間的網(wǎng)絡(luò)帶寬有限，跨數(shù)據(jù)中心間的海量數(shù)據(jù)傳輸成為影響數(shù)據(jù)密集型科學(xué)工作流高效執(zhí)行的關(guān)鍵因素。
　　高效的數(shù)據(jù)管理和任務(wù)調(diào)度算法是實(shí)現(xiàn)數(shù)據(jù)密集型科學(xué)工作流在多數(shù)據(jù)中心環(huán)境中執(zhí)行優(yōu)化的關(guān)鍵。針對(duì)工

3、作流海量初始數(shù)據(jù)在數(shù)據(jù)中心間的傳輸問(wèn)題，現(xiàn)有的工作主要基于數(shù)據(jù)相關(guān)性進(jìn)行聚類放置，未考慮數(shù)據(jù)量大、相關(guān)性較弱的數(shù)據(jù)集，無(wú)法高效地減少初始數(shù)據(jù)的傳輸。針對(duì)大量中問(wèn)數(shù)據(jù)在數(shù)據(jù)中心間的傳輸問(wèn)題，現(xiàn)有的研究工作主要采用簡(jiǎn)單任務(wù)復(fù)制和數(shù)據(jù)多副本存儲(chǔ)來(lái)解決，導(dǎo)致運(yùn)行效率和資源利用率較低。因此，現(xiàn)有的工作無(wú)法有效地實(shí)現(xiàn)數(shù)據(jù)密集型科學(xué)工作流在多數(shù)據(jù)中心環(huán)境中高效執(zhí)行目標(biāo)，需在深入考慮數(shù)據(jù)密集型科學(xué)工作流執(zhí)行特點(diǎn)基礎(chǔ)上提出新的高效調(diào)度算法和策略。為此，本

4、文從以下四個(gè)方面展開(kāi)研究:首先，針對(duì)跨數(shù)據(jù)中心間的海量初始數(shù)據(jù)傳輸問(wèn)題，考慮數(shù)據(jù)相關(guān)性的同時(shí)考慮數(shù)據(jù)集大小因素，提出初始數(shù)據(jù)聚類放置策略，實(shí)現(xiàn)高內(nèi)聚數(shù)據(jù)放置。其次，針對(duì)跨數(shù)據(jù)中心間的中間數(shù)據(jù)傳輸問(wèn)題，考慮數(shù)據(jù)與任務(wù)間的關(guān)系，提出多級(jí)任務(wù)復(fù)制算法，實(shí)現(xiàn)數(shù)據(jù)的本地性獲取，減少中間數(shù)據(jù)的傳輸。再次，針對(duì)數(shù)據(jù)傳輸和任務(wù)執(zhí)行串行化問(wèn)題，提出數(shù)據(jù)預(yù)放置策略，將數(shù)據(jù)傳輸操作和任務(wù)運(yùn)行分離，實(shí)現(xiàn)數(shù)據(jù)傳輸和任務(wù)運(yùn)行的并行執(zhí)行。最后，在理論研究基礎(chǔ)上，結(jié)合