基于流程驅(qū)動的ETL工具的設(shè)計(jì)、實(shí)現(xiàn)及應(yīng)用.pdf

1、隨著信息社會的迅猛發(fā)展，各部門根據(jù)各自不同的業(yè)務(wù)需求和計(jì)算機(jī)軟硬件結(jié)構(gòu)等特點(diǎn)分別在不同時期保存了各種各樣的歷史數(shù)據(jù)，這些數(shù)據(jù)常存在大量重復(fù)、大小寫不一致、前后矛盾等數(shù)據(jù)質(zhì)量問題，同時跨部門數(shù)據(jù)很難達(dá)到數(shù)據(jù)的一致性，形成一個完整的數(shù)據(jù)結(jié)構(gòu)。因此，需要對部門間的數(shù)據(jù)進(jìn)行集成、比對與整合，以實(shí)現(xiàn)數(shù)據(jù)共享。
　　 ETL是Extraction-Transformation-Loading的縮寫，分別叫抽取、轉(zhuǎn)換和加載。ETL是實(shí)現(xiàn)部門間

2、數(shù)據(jù)共享的基石，其價(jià)值在于將部門間的數(shù)據(jù)統(tǒng)一化、標(biāo)準(zhǔn)化、集中化、完整化。將分布的異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)抽取到臨時庫中并進(jìn)行清洗、轉(zhuǎn)換和集成整合，最后再加載到目標(biāo)庫中，是數(shù)據(jù)共享的基礎(chǔ)。在ETL過程中，數(shù)據(jù)清洗和數(shù)據(jù)比對是兩個十分重要的環(huán)節(jié)，數(shù)據(jù)清洗解決了數(shù)據(jù)質(zhì)量問題，數(shù)據(jù)比對則保證了跨部門間的數(shù)據(jù)一致性。
　　 本文首先引入類似工作流的概念，將ETL中涉及到的操作抽象成相應(yīng)的節(jié)點(diǎn)并給出了節(jié)點(diǎn)模型，通過將各節(jié)點(diǎn)連接在一起形成ETL流程

3、，使整個ETL的處理過程流程化，這樣可以保證ETL工具更具有通用性和靈活性。其次，本文結(jié)合元數(shù)據(jù)的思想進(jìn)行了基于流程驅(qū)動的ETL工具的整體設(shè)計(jì)及模塊實(shí)現(xiàn)。最后，本文描述了一個基于ETL工具的應(yīng)用案例——社會信用聯(lián)合征信系統(tǒng)。
　　 本文主要創(chuàng)新點(diǎn)是:
　　 1、本文開發(fā)的ETL工具將數(shù)據(jù)共享中涉及到的ETL過程與工作流結(jié)合起來，把對應(yīng)的各種操作抽象成相應(yīng)的節(jié)點(diǎn)，并根據(jù)具體的業(yè)務(wù)需求將這些節(jié)點(diǎn)按照一定順序配置成ETL流程，