vo中的科學(xué)工作流技術(shù)

1、VO中的科學(xué)工作流技術(shù),鄭晟昆明理工大學(xué)云南省計(jì)算機(jī)技術(shù)應(yīng)用重點(diǎn)實(shí)驗(yàn)室,科學(xué)工作流的基本概念,科學(xué)工作流(Scientific Workflow)是指將一系列在科學(xué)研究中所遇到的數(shù)據(jù)管理、計(jì)算、分析、展現(xiàn)等工作變成一個(gè)個(gè)獨(dú)立的服務(wù)，再把這些服務(wù)通過(guò)數(shù)據(jù)鏈接組合在一起，滿足研究人員在科學(xué)實(shí)驗(yàn)和數(shù)據(jù)處理中的需要，從而實(shí)現(xiàn)相應(yīng)的處理與科學(xué)計(jì)算。科學(xué)工作流針對(duì)科學(xué)研究工作的特點(diǎn)，專注于大規(guī)?？茖W(xué)處理(e-Science)的定制，對(duì)科學(xué)研究提

2、供輔助科學(xué)發(fā)現(xiàn)的環(huán)境。,科學(xué)工作流的特征,科學(xué)工作流往往會(huì)表現(xiàn)出比較特別的特征，例如，它們可以是數(shù)據(jù)密集型、計(jì)算密集型、分析密集型和可視化密集型，因此在科學(xué)領(lǐng)域涵蓋了非常廣泛的應(yīng)用范圍，從低層次網(wǎng)格工程師感興趣的"底層工作流" ，到高層次的"知識(shí)發(fā)現(xiàn)工作流"。因此，工作流步驟可以有完全不同的粒度，可以以多種不同的方式來(lái)實(shí)施，例如：Shell腳本， Web Service，本地應(yīng)用程序調(diào)用，或復(fù)雜子

3、工作流組合等[1]。,,,當(dāng)前常見的SWF系統(tǒng),Kepler（http://www.kepler-porject.org）Pegasus（http://pegasus.isi.edu）Vistrails（http://www.vistrails.org）Triana（http://www.trianacode.org）,VO中應(yīng)用Kepler的優(yōu)勢(shì)和問(wèn)題,Kepler介紹Kepler的優(yōu)點(diǎn)應(yīng)用Kepler的優(yōu)勢(shì)在VO中應(yīng)用K

4、epler的一些問(wèn)題,Kepler的介紹,Kepler項(xiàng)目由美國(guó)科學(xué)基金NSF支持，UC Berkeley和San Diego超級(jí)計(jì)算中心聯(lián)合，基于Java開發(fā)的，目的是打造一個(gè)通用的科學(xué)工作流集成平臺(tái)，并且將整合多種已有的計(jì)算模型。,Kepler的優(yōu)點(diǎn),一個(gè)通用開放的平臺(tái)，并不是針對(duì)某個(gè)特定學(xué)科通過(guò)Web Service訪問(wèn)資源和服務(wù)良好的人機(jī)交互界面工作流的重用良好的擴(kuò)展性（定制Actor等）Data Provenance

5、,在VO中應(yīng)用Kepler的優(yōu)勢(shì),Kepler是基于JAVA的，可以運(yùn)行在多個(gè)平臺(tái)上（Unix、Linux、Solaris、Windows等）Kepler是基于BSD協(xié)議的開源軟件，可以為了滿足VO的要求而進(jìn)行源碼擴(kuò)展和修改可以使用Kepler現(xiàn)有的大量通用Actor（Math、Statistic、IO、Web Service）,在VO中應(yīng)用Kepler的問(wèn)題,在Kepler中沒有提供VO用到的Actor（數(shù)據(jù)、科學(xué)計(jì)算）現(xiàn)有Ke

6、pler工作流的流程調(diào)度是否滿足VO的要求現(xiàn)有Kepler工作流的數(shù)據(jù)類型是否滿足VO的要求,Kepler的Actor Customize,基于Actor的工作流模型Actor-oriented的APISample：ScaleActor,基于Actor的工作流模型,工作流由一些獨(dú)立的Actor組成Actor通過(guò)Port進(jìn)行通信Actor有自己的Parameter工作流的執(zhí)行順序由Director定義(調(diào)度),基于Actor的

7、好處,基于Actor的工作流模型帶來(lái)行為和調(diào)度的分離，從而使Actor帶來(lái)更大重用性可以分別擴(kuò)展Actor和Director,Actor-oriented的API,execution - preinitialize, type-check, run*, wrapUprun – initialize, iteration*iteration - pre?re, fire, postfireexecution：表示Director執(zhí)

8、行調(diào)用一個(gè)工作流run：調(diào)用Actor的initialize方法，并執(zhí)行iteration步驟iteration：對(duì)每個(gè)Actor的pre?re, fire, postfire方法進(jìn)行調(diào)用,Actor execution,,initialize() Iterations wrapUp(),,,prefirefire()postfire(),,,,,,Actor Methods,initialize(): 初始化A

9、ctor的狀態(tài)變量prefire(): 返回一個(gè)布爾量來(lái)決定是否調(diào)用fire方法 比如調(diào)用web service，在這個(gè)方法驗(yàn)證遠(yuǎn)程服務(wù)是否可用，來(lái)決定是否調(diào)用fire方法fire(): actor的主要執(zhí)行方法如獲得actor本身參數(shù)，讀取輸入數(shù)據(jù)，進(jìn)行科學(xué)運(yùn)算，產(chǎn)生輸出數(shù)據(jù),Actor Methods(續(xù)),postfire(): 決定actor執(zhí)行是否完成wrapUp(): 釋放資源或者展示最終結(jié)果,ScaleAct

10、or：Constructor,ScaleActor：輸入數(shù)據(jù)比例縮放public class ScaleActor extends TypedAtomicActor { public TypedIOPort input; public TypedIOPort output; public Parameter factor; public ScaleActor(CompositeEntity container, Strin

11、g name) throws NameDuplicationException, IllegalActionException { super(container, name); input = new TypedIOPort(this, "input", true, false); output = new TypedIOPort(t

12、his, "output", false, true); factor = new Parameter(this, "factor", new IntToken(1)); output.setTypeAtLeast(input); } public void fire() throws IllegalActionException

13、 {…} private Token scale(Token input, Token factor) throws IllegalActionException {…}},ScaleActor：fire method,public void fire() throws IllegalActionException { if (input.hasToken(0)) { Token in = in

14、put.get(0); //獲得輸入 Token factorToken = factor.getToken(); //比例因子 Token result; //輸出結(jié)果 result = scale(in, factorToken); output.send(0, result); } },ScaleActor：sc

15、ale method,private Token scale(Token input, Token factor) throws IllegalActionException {if (input instanceof ArrayToken) { Token[] argArray = ( (ArrayToken) input).arrayValue(); Token[] result

16、= new Token[argArray.length]; for (int i = 0; i < argArray.length; i++) { result[i] = scale(argArray[i], factor); } return new ArrayToken(result); }