ETL在數(shù)據(jù)中心中的設計與實現(xiàn).pdf

1、隨著信息化建設的開展，政府加大投資力度進行信息系統(tǒng)建設，以幫助政府進行電子政務處理和管理工作。這些系統(tǒng)的運行，積累了大量的業(yè)務數(shù)據(jù);但各個系統(tǒng)的業(yè)務數(shù)據(jù)分布在各自的系統(tǒng)中（操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)和數(shù)據(jù)標準都不相同）。這些數(shù)據(jù)之間缺乏對應和轉(zhuǎn)換關系，協(xié)同能力較差，形成“信息孤島”。信息雖然可以在本系統(tǒng)中進行流轉(zhuǎn)，但與其他系統(tǒng)的交互性較差。各自孤立運作的系統(tǒng)將會產(chǎn)生大量的冗余數(shù)據(jù)和造成業(yè)務人員的重復勞動，而采用傳統(tǒng)點對點的數(shù)據(jù)交換方式將使

2、得系統(tǒng)的集成費用和維護成本成倍增加。構(gòu)建公共數(shù)據(jù)中心成為當務之急。
　　 ETL(Extraction、Transform and Load，數(shù)據(jù)抽取、轉(zhuǎn)換和裝載)是構(gòu)建公共數(shù)據(jù)中心的關鍵環(huán)節(jié)。ETL系統(tǒng)將一個機構(gòu)的所有的信息資源集成到一個無縫的、并列的、易于訪問的數(shù)據(jù)資產(chǎn)中;這樣可使一個功能強大的數(shù)據(jù)資產(chǎn)運作起來就像一個單一系統(tǒng)。ETL通過建立底層數(shù)據(jù)交換平臺來聯(lián)系整個部門機構(gòu)的異構(gòu)系統(tǒng)、應用、數(shù)據(jù)源等。該平臺用于滿足機構(gòu)內(nèi)部

3、的業(yè)務系統(tǒng)、數(shù)據(jù)庫、數(shù)據(jù)倉庫，以及其它重要的內(nèi)部系統(tǒng)之間無縫地共享和交換數(shù)據(jù)的需要。
　　 本文以本人參與的上海市浦東新區(qū)政府公共數(shù)據(jù)中心信息系統(tǒng)項目為依托。先分析和設計公共數(shù)據(jù)中心信息系統(tǒng)，再按照公共數(shù)據(jù)中心的實際需求，對公共數(shù)據(jù)中心的ETL工作過程進行設計和實現(xiàn)。首先，鑒于公共數(shù)據(jù)保密性的特點，設計了數(shù)據(jù)不同的獲取方式。公共數(shù)據(jù)中心支持在線數(shù)據(jù)采集，也支持數(shù)據(jù)從光盤等介質(zhì)上傳到數(shù)據(jù)中心。其次，在設置數(shù)據(jù)轉(zhuǎn)換規(guī)則的過程中結(jié)合相

4、應領域知識，保證數(shù)據(jù)質(zhì)量。再次，前置機之間實行負載均衡，保證數(shù)據(jù)抽取效率，提高系統(tǒng)的可用性和可擴展性。最后，將數(shù)據(jù)轉(zhuǎn)換的不同步驟分配到兩臺ET服務器來完成，保證轉(zhuǎn)換效率。
　　 本文主要內(nèi)容如下:
　　 (1)數(shù)據(jù)倉庫技術基本理論;
　　 (2)公共數(shù)據(jù)中心信息系統(tǒng)總體需求分析;
　　 (3)公共數(shù)據(jù)中心信息系統(tǒng)總體設計;
　　 (4)公共數(shù)據(jù)中心信息系統(tǒng)ETL的設計與實現(xiàn):ETL過程設計、ETL