數(shù)據(jù)共享型科學云工作流的數(shù)據(jù)布局策略研究.pdf

1、科學工作流是一種基于數(shù)據(jù)驅動的數(shù)據(jù)密集型和計算密集型工作流，能夠自動化處理用戶的業(yè)務需求。正因為其能夠科學的管理、傳輸、分析、模擬并通過可視化手段來幫助科研人員進行科學研究，科學工作流已在眾多科學研究領域中被廣泛使應用，如高能物理、氣象預測、生命信息等科學領域。
　　伴隨著信息技術的長足發(fā)展，云計算正逐漸成為下一代的信息技術平臺。云計算服務提供商可以通過互聯(lián)網(wǎng)以計費的方式為用戶提供海量、廉價、動態(tài)的計算、存儲和網(wǎng)絡資源。云計算平臺

2、所具有的高性能、可擴展和彈性的計算模式大幅降低了研究機構、企業(yè)和政府構建業(yè)務系統(tǒng)所需的資金門檻和資源成本，為執(zhí)行數(shù)據(jù)密集型工作流系統(tǒng)提供了理想的運行環(huán)境。因此，基于云計算的科學工作流管理系統(tǒng)已成為學術界和工業(yè)界研究和應用的一個熱點。
　　雖然科學云工作流數(shù)據(jù)管理擁有與生俱來的優(yōu)勢，但其數(shù)據(jù)布局管理在“大數(shù)據(jù)”時代中仍面臨諸多挑戰(zhàn)。科學云工作流通常由多個不同的科研機構、院校、企業(yè)、政府部門的研究小組、團隊共同合作開展的，工作流內(nèi)部、

3、之間普遍存在數(shù)據(jù)共享和交互現(xiàn)象，對于“大數(shù)據(jù)”時代中海量數(shù)據(jù)所具有的隱私性、共享性、階段性，云數(shù)據(jù)中心具有的多用戶性、多任務性，云服務的動態(tài)性和不確定性等特點，數(shù)據(jù)共享型工作流數(shù)據(jù)布局研究變得尤為重要。學術界已有一些研究致力于優(yōu)化數(shù)據(jù)在云數(shù)據(jù)中心中的存儲，但其所獲得的數(shù)據(jù)布局方案大多基于數(shù)據(jù)和任務之間的依賴關系，既沒有充分考慮到工作流中數(shù)據(jù)的不同屬性對布局的影響，又沒有對工作流之間的數(shù)據(jù)共享對數(shù)據(jù)布局的影響程度進行細致研究。
　　

4、在已有對工作流數(shù)據(jù)布局研究基礎上，本文總結傳統(tǒng)數(shù)據(jù)布局策略，并命名為任務層數(shù)據(jù)布局策略;對數(shù)據(jù)共享型科學工作流的數(shù)據(jù)布局進行深入研究，設計出一種工作流層數(shù)據(jù)布局策略。它通過優(yōu)化工作流布局框架、模型和細化工作流的數(shù)據(jù)類型，并采用基于粒子群優(yōu)化算法的兩個階段數(shù)據(jù)布局方法來優(yōu)化數(shù)據(jù)布局方案，以降低工作流執(zhí)行時的數(shù)據(jù)傳輸費用。本文的主要工作和創(chuàng)新點具體如下:
　　1.針對工作流系統(tǒng)中的數(shù)據(jù)、任務和存儲資源，研究不同屬性數(shù)據(jù)與數(shù)據(jù)之間，數(shù)據(jù)

5、與任務之間，任務與任務之間的依賴關系，以及數(shù)據(jù)在數(shù)據(jù)中心的存儲情況?？茖W工作流是一種數(shù)據(jù)密集型業(yè)務流程，任務在執(zhí)行時需要大量的相關數(shù)據(jù)，因此會和數(shù)據(jù)形成一種多對多的關系。工作流中的數(shù)據(jù)可劃分成多種類型，如初始數(shù)據(jù)（或原始數(shù)據(jù)）、生成數(shù)據(jù)（或中間數(shù)據(jù)）、隱私數(shù)據(jù)、共享數(shù)據(jù)、固定數(shù)據(jù)等等。由于工作流業(yè)務流程的靈活多變，導致其數(shù)據(jù)和任務之間的關系十分復雜，并且出于安全等因素考慮，這些相關數(shù)據(jù)和任務往往被存儲于多個云數(shù)據(jù)中心。因此本文會系統(tǒng)的分

6、析、歸納數(shù)據(jù)類型，理清數(shù)據(jù)和任務的依賴關系，方便對后續(xù)工作流布局框架和數(shù)據(jù)布局模型的整合與優(yōu)化。
　　2.結合已有數(shù)據(jù)布局研究，總結出傳統(tǒng)的任務層(Task-Level)數(shù)據(jù)布局模型，給出相關定義和數(shù)據(jù)傳輸計費模型。已有的一些云工作流數(shù)據(jù)布局模型過于抽象，且主要研究科學云工作流在執(zhí)行過程中的數(shù)據(jù)傳輸次數(shù)、數(shù)據(jù)傳輸量和數(shù)據(jù)傳輸時間。雖然這些參數(shù)能夠表征數(shù)據(jù)布局方法的性能優(yōu)劣，但用戶最關心的是工作流在云平臺中運行所產(chǎn)生的花費。本文根據(jù)

7、工作流的不同數(shù)據(jù)類型，系統(tǒng)的建模云工作流，分析工作流內(nèi)部的數(shù)據(jù)共享現(xiàn)象，并從用戶角度出發(fā)，通過建模工作流數(shù)據(jù)傳輸費用模型來獲得工作流執(zhí)行時的數(shù)據(jù)傳輸費用，衡量布局方法性能優(yōu)劣。
　　3.針對任務層數(shù)據(jù)布局模型不足，提出一種工作流層(Workflow-Level)數(shù)據(jù)布局框架、傳輸計費模型來優(yōu)化布局方案，降低數(shù)據(jù)傳輸費用?？茖W云工作流是一種多用戶協(xié)作的業(yè)務流程，其任務在執(zhí)行過程中往往需要多個不同的科研機構、院校、企業(yè)甚至政府部門之間

8、的分工協(xié)作。不僅工作流內(nèi)部之間存在數(shù)據(jù)共享，多個工作流之間也存在數(shù)據(jù)共享現(xiàn)象，如相同數(shù)據(jù)會被用于不同的研究方向，導致不同工作流間存在數(shù)據(jù)共享現(xiàn)象。任務層數(shù)據(jù)布局模型孤立的布局每個工作流，并沒有考慮工作流之間的共享數(shù)據(jù)集，且數(shù)據(jù)布局的靈活性低，導致工作流總體數(shù)據(jù)開銷大。為此，本項目從共享數(shù)據(jù)出發(fā)，通過分析、整合工作流布局框架，研究基于數(shù)據(jù)依賴的共享型工作流框架，將存在數(shù)據(jù)共享的多個工作流整合成一個工作流，從工作流層研究數(shù)據(jù)布局計費模型，優(yōu)

9、化數(shù)據(jù)布局方案，降低傳輸費用。
　　4.結合云工作流的生命周期和數(shù)據(jù)的不同屬性，為數(shù)據(jù)共享型科學云工作流設計出一種兩個階段的數(shù)據(jù)布局方法，該布局方法通過調(diào)用離散型粒子群優(yōu)化數(shù)據(jù)布局算法(Discrete Particle Swarm Optimization Data Placement Algorithm，DPSO-DPA)，對不同階段、不同屬性的數(shù)據(jù)進行布局優(yōu)化。云工作流的數(shù)據(jù)布局是一個NP難問題，目前有兩大類布局方法用于求解

10、數(shù)據(jù)布局:聚類方法和智能方法，且主要研究工作流在執(zhí)行過程中的數(shù)據(jù)傳輸次數(shù)、傳輸時間和傳輸費用。聚類方法通常基于數(shù)據(jù)中心的負載均衡，利用數(shù)據(jù)之間的依賴關系，將數(shù)據(jù)劃分成幾個獨立的數(shù)據(jù)塊，然后將這些數(shù)據(jù)塊布局到數(shù)據(jù)中心。在實際的云環(huán)境中，云數(shù)據(jù)中心的容量近乎無限，根本不需要考慮數(shù)據(jù)存儲會導致云數(shù)據(jù)中心過載。智能方法則能夠根據(jù)云工作流和用戶的具體需求，提供適應性強的數(shù)據(jù)布局方案。粒子群優(yōu)化方法屬于智能方法，因其具有參數(shù)少、計算成本低、收斂快、

11、求解效率高等特點被廣泛應用于函數(shù)優(yōu)化、任務調(diào)度、數(shù)據(jù)布局等領域。工作流層數(shù)據(jù)布局策略包括兩個階段，構建階段(Build-Time)和運行階段(Runtime)。在工作流構建階段布局初始數(shù)據(jù)，并調(diào)用本文設計的DPSO-DPA算法獲得初始靈活數(shù)據(jù)的布局方案;在運行階段調(diào)用DPSO-DPA算法獲得生成靈活數(shù)據(jù)的布局方案。通過整合兩個階段，獲得整個工作流的最終數(shù)據(jù)布局方案。
　　本文總結了傳統(tǒng)任務層數(shù)據(jù)布局策略，分析工作流的數(shù)據(jù)共享現(xiàn)象，