基于元數(shù)據(jù)控制的ETL方法研究與軟件開(kāi)發(fā).pdf

1、隨著信息化進(jìn)程的不斷推進(jìn)，大部分企業(yè)已經(jīng)把數(shù)據(jù)倉(cāng)庫(kù)作為企業(yè)數(shù)據(jù)集成的主流技術(shù)，為企業(yè)提供綜合的真實(shí)的數(shù)據(jù)視圖。而數(shù)據(jù)的抽取、轉(zhuǎn)換、加載（Extraction、Transformation、Loading，ETL）是數(shù)據(jù)倉(cāng)庫(kù)技術(shù)應(yīng)用的重要的組成部分之一，直接影響企業(yè)數(shù)據(jù)集成的質(zhì)量。由于企業(yè)數(shù)據(jù)具有多源、海量和異構(gòu)等特征，ETL的效率和能否支持異構(gòu)數(shù)據(jù)訪問(wèn)和集成是ETL過(guò)程中要解決的關(guān)鍵問(wèn)題。
　　針對(duì)ETL的上述問(wèn)題，本文采用元數(shù)據(jù)

2、理論和方法，提出了一種基于元數(shù)據(jù)控制的ETL方法，并開(kāi)發(fā)了ETL軟件工具。具體研究成果如下：
　　（1）針對(duì)ETL的實(shí)際需求，結(jié)合國(guó)內(nèi)外ETL方法和工具的研究成果，采用元數(shù)據(jù)方法和數(shù)據(jù)逆追蹤方式，提出了一種基于元數(shù)據(jù)控制的ETL方法，設(shè)計(jì)了ETL控制元數(shù)據(jù)結(jié)構(gòu)和ETL流程。經(jīng)理論分析和實(shí)驗(yàn)驗(yàn)證，該方法提高了數(shù)據(jù)提取精度,減少了數(shù)據(jù)的重復(fù)計(jì)算，進(jìn)而提高了ETL執(zhí)行效率。
　?。?）基于上述方法，設(shè)計(jì)了ETL軟件的總體架構(gòu)，主要

3、包括元數(shù)據(jù)模塊、數(shù)據(jù)中轉(zhuǎn)區(qū)、數(shù)據(jù)抽取引擎、數(shù)據(jù)轉(zhuǎn)換引擎、數(shù)據(jù)加載引擎以及通用數(shù)據(jù)訪問(wèn)接口等幾部分，詳細(xì)描述架構(gòu)中各個(gè)模塊的作用。
　　（3）利用異構(gòu)數(shù)據(jù)統(tǒng)一操作平臺(tái)，設(shè)計(jì)了數(shù)據(jù)訪問(wèn)接口模塊，解決了異構(gòu)數(shù)據(jù)源的訪問(wèn)問(wèn)題；采用元數(shù)據(jù)統(tǒng)一集成操作，設(shè)計(jì)了元數(shù)據(jù)管理模塊，解決了ETL控制元數(shù)據(jù)集成管理問(wèn)題。
　　（4）實(shí)現(xiàn)了ETL軟件異構(gòu)數(shù)據(jù)源訪問(wèn)及函數(shù)運(yùn)算兩個(gè)核心模塊，給出了具體的實(shí)現(xiàn)方案。
　　本文提出的ETL方法，開(kāi)發(fā)的