數(shù)據(jù)文件自動產(chǎn)生和配置平臺的軟件設(shè)計與實現(xiàn).pdf

1、億貝(ebay)上海分公司的一個職責(zé)是維護和開發(fā)全公司的數(shù)據(jù)倉庫，即每天從實時生產(chǎn)數(shù)據(jù)庫將當(dāng)天的業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)存到數(shù)據(jù)倉庫進行二次計算和整理，最后生成業(yè)務(wù)分析師所需要的數(shù)據(jù)。但是數(shù)據(jù)倉庫在權(quán)限上控制較為嚴(yán)格，導(dǎo)致業(yè)務(wù)分析師很難獲取到結(jié)果數(shù)據(jù)。正規(guī)流程為數(shù)據(jù)倉庫內(nèi)部編寫ETL腳本抽取出數(shù)據(jù)，再把這些數(shù)據(jù)發(fā)送給分析師。但是這個方法耗時耗力周期長。對應(yīng)的解決方案是設(shè)計一個軟件來提供服務(wù)。
　　本論文介紹了包括各種億貝內(nèi)部使用的技術(shù)在內(nèi)的一些

2、背景資料，研究設(shè)計并實現(xiàn)了一個軟件。該軟件可以讓用戶提交請求，自動生成對應(yīng)的代碼腳本，自動部署到生產(chǎn)環(huán)節(jié)，最后每天自動運行。
　　主要完成的功能如下：
　　(1)自動生成配置文件以及配置腳本。自動讀取用戶提交的需求并且生成一系列的配置文件和腳本文件。系統(tǒng)可以通過運行該功能所生產(chǎn)的腳本和配置文件來從數(shù)據(jù)倉庫中抽取出用戶所需要的數(shù)據(jù)。
　　(2)定時任務(wù)腳本的自動生成。自動根據(jù)用戶的需求生成出相對應(yīng)的定時任務(wù)腳本來運行每個