分布式計算中批量作業(yè)提交管理系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著當(dāng)前高能物理實驗規(guī)模不斷擴大，數(shù)據(jù)量在急劇地積累，這對于計算資源形成了巨大的挑戰(zhàn)，而分布式計算成為解決這一問題不可或缺的資源組織方式。為了滿足實驗數(shù)據(jù)處理和分析的需求，高能物理實驗的資源使用模式逐漸從原來單一的本地集群趨于多元化，形成了本地、網(wǎng)格、云以及志愿計算等分布式資源并存的現(xiàn)狀，并具有異構(gòu)、異地、多樣性等特點，而對多種后端資源系統(tǒng)的訪問給物理用戶增加了難度。另一方面，實驗數(shù)據(jù)處理和作業(yè)分析具有輸入輸出數(shù)據(jù)量大、任務(wù)耗時長等特點

2、，需要拆分為批量子作業(yè)分配到廣泛的計算節(jié)點來加速處理和分析的過程。同時，高能物理實驗的數(shù)據(jù)處理流程具有共同特點，不同實驗的作業(yè)可以用通用型框架統(tǒng)一處理。
　　為了解決高能物理實驗的分布式計算模式中底層系統(tǒng)差異以及多個實驗作業(yè)統(tǒng)一處理等問題，本文設(shè)計并開發(fā)了一個用于作業(yè)提交管理的通用前端系統(tǒng)(JSUB)。在JSUB中，不同實驗組的用戶可以通過統(tǒng)一的界面拆分提交作業(yè)，從而減輕了對多實驗作業(yè)的管理壓力。同時JSUB通過接口和后端資源調(diào)度

3、系統(tǒng)交互，對用戶屏蔽了底層差異性，允許透明地訪問到異構(gòu)資源，降低了用戶使用成本。
　　本文的主要工作如下:
　　(1)分析BESⅢ、CEPC和JUNO等多個實驗作業(yè)，抽象出作業(yè)的一般處理流程，總結(jié)出系統(tǒng)的功能需求，設(shè)計系統(tǒng)的功能模塊。
　　(2)對國內(nèi)外相關(guān)工作進行調(diào)研，分析并歸納Ganga和ILCDirac等前端系統(tǒng)的設(shè)計特點，借鑒了部分優(yōu)秀的設(shè)計思想，并設(shè)計出該系統(tǒng)的核心組件和基本框架，同時改進了作業(yè)拆分器和工作流

4、等功能。
　　(3)研究DIRAC和HTCondor等多個后端調(diào)度系統(tǒng)的特點和使用方法，設(shè)計了前后端交互的接口，為用戶提供統(tǒng)一的操作界面。用戶只需通過定義少量的配置參數(shù)來實現(xiàn)對需求的切換，不用再關(guān)心各后端的操作指令，后端的差異性也由此被隱藏。
　　(4)基于后端調(diào)度系統(tǒng)的作業(yè)狀態(tài)反饋功能實現(xiàn)對作業(yè)運行的監(jiān)控，將狀態(tài)信息存于本地數(shù)據(jù)庫中，通過用戶動作來驅(qū)動數(shù)據(jù)庫信息的更新。
　　(5)和元數(shù)據(jù)管理系統(tǒng)交互，實現(xiàn)在分布式環(huán)

5、境下對目標數(shù)據(jù)的快速檢索和訪問，實現(xiàn)對作業(yè)輸入輸出數(shù)據(jù)的有效管理。
　　JSUB方便了對批量作業(yè)的生命周期的管理，包括拆分、提交、分布式環(huán)境下的運行、運行狀態(tài)查看、重提交和數(shù)據(jù)集的讀取注冊等過程，能夠滿足作業(yè)處理的基本需求;統(tǒng)一了作業(yè)的處理流程，為用戶提供統(tǒng)一操作界面，具有通用性和易用性;設(shè)計了一個通用的作業(yè)提交和管理框架，降低了通用模塊和業(yè)務(wù)數(shù)據(jù)間的耦合度，與實驗相關(guān)的應(yīng)用部分以可擴展的形式兼容到系統(tǒng)當(dāng)中，層次清晰，也方便新實驗