數(shù)據(jù)倉庫中ETL工具的分析與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)的發(fā)展，信息系統(tǒng)中數(shù)據(jù)孤島的增多，如何把這些數(shù)據(jù)利用起來，是每個(gè)企業(yè)所面臨的問題。ETL是指數(shù)據(jù)抽取(Extract)、數(shù)據(jù)轉(zhuǎn)換(Transform)以及數(shù)據(jù)加載(Loading)，在數(shù)據(jù)倉庫的應(yīng)用中起著關(guān)鍵作用。ETL把這些數(shù)據(jù)孤島利用起來，形成數(shù)據(jù)倉庫，是構(gòu)建數(shù)據(jù)倉庫中極其重要的一環(huán)。因此，提供一種好的ETL工具是非常有益的工作。利用ETL工具可以對(duì)異構(gòu)數(shù)據(jù)源中的業(yè)務(wù)數(shù)據(jù)抽取和轉(zhuǎn)換，并將其裝載到數(shù)據(jù)倉庫中，其主要作用是對(duì)各

2、類業(yè)務(wù)數(shù)據(jù)的清理、標(biāo)準(zhǔn)化和匯總，為基于數(shù)據(jù)倉庫的決策分析應(yīng)用提供高質(zhì)量的數(shù)據(jù)。 本文首先分析了國內(nèi)外ETL工具的研究現(xiàn)狀，也對(duì)目前主流的ETL工具的結(jié)構(gòu)可靠、及特點(diǎn)以及在ETL過程中比較重要的數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清洗和元數(shù)據(jù)等相關(guān)問題和理論方法進(jìn)行了詳細(xì)分析，提出了一種較通用的ETL工具框架設(shè)計(jì)模型，在此基礎(chǔ)上，使用Java語言實(shí)現(xiàn)了一個(gè)可根據(jù)不同的ETL過程進(jìn)行靈活配置的ETL系統(tǒng)。 目前ETL工具的轉(zhuǎn)換引擎多使用編寫腳本語

3、言的方式來應(yīng)對(duì)復(fù)雜的ETL轉(zhuǎn)換，操作復(fù)雜，專業(yè)性強(qiáng)且不易使用。本文引入了DirectShow的媒體文件處理思想，提出了ETL轉(zhuǎn)換圖的設(shè)計(jì)思路。ETL轉(zhuǎn)換圖由若干功能單一的數(shù)據(jù)處理單元組成，各處理單元根據(jù)不同ETL過程的需要進(jìn)行組合和連接，形成數(shù)據(jù)處理的流水線，完成ETL過程。轉(zhuǎn)換圖可靈活處理復(fù)雜的ETL過程。在具體實(shí)現(xiàn)方面，充分運(yùn)用面向?qū)ο笳Z言的繼承、多態(tài)的特性，將設(shè)計(jì)模式大量的應(yīng)用于系統(tǒng)的實(shí)現(xiàn)當(dāng)中，使系統(tǒng)架構(gòu)清晰，具有良好的擴(kuò)展性。