基于工作流和元數(shù)據(jù)的ETL工具研究與實現(xiàn).pdf

1、在全球經(jīng)濟一體化的背景下，隨著互聯(lián)網(wǎng)和信息技術的快速發(fā)展，企業(yè)建設相應的信息化系統(tǒng)成了必然趨勢。然而，企業(yè)在信息化建設的過程中，大都實施了許多不同的企業(yè)應用系統(tǒng)。因此，各企業(yè)為了解決信息孤島問題，必然要加強企業(yè)內(nèi)各部門之間、企業(yè)間信息系統(tǒng)的資源共享和應用集成，從而信息的采集和分析管理成為了關鍵。ETL（Extract-Transform-Load）工具就是通過對不同的數(shù)據(jù)存儲格式進行抽取、轉(zhuǎn)換、加載來為數(shù)據(jù)倉庫提供數(shù)據(jù)，進而達到資源的共

2、享，為決策提供數(shù)據(jù)支持?？梢哉f，ETL工具是從數(shù)據(jù)集成的角度來解決信息孤島問題的。 根據(jù)論文的研究目標，本文論述了一種基于工作流和元數(shù)據(jù)的ETL 工具的研究與實現(xiàn)。論文首先介紹了ETL工具的相關背景知識，并分析了ETL工具的研究現(xiàn)狀，根據(jù)當前異構數(shù)據(jù)源的特點，提出基于通用數(shù)據(jù)訪問技術（ADO.NET）的ETL 系統(tǒng)的體系架構。該ETL系統(tǒng)具有工作流引擎、元數(shù)據(jù)管理、豐富的數(shù)據(jù)清洗功能、友好的拖拉式用戶界面和多線程并發(fā)處理等功能。

3、 本文中的所有功能模塊都具有相應模型，本文主要的研究工作和創(chuàng)新點是：設計了ETL工作流模型、元數(shù)據(jù)模型、數(shù)據(jù)緩沖模型、并發(fā)規(guī)則執(zhí)行模型。工作流模型為ETL各個任務的按時間、按事件自動執(zhí)行提供了基礎；元數(shù)據(jù)模型的實現(xiàn)為本系統(tǒng)的數(shù)據(jù)錯誤控制、數(shù)據(jù)質(zhì)量檢測、ETL規(guī)則定義等奠定了基礎；數(shù)據(jù)緩沖模型的設計克服了數(shù)據(jù)表中記錄的誤差問題，并為數(shù)據(jù)轉(zhuǎn)換提供了良好的數(shù)據(jù)質(zhì)量；并發(fā)規(guī)則執(zhí)行模型建立于數(shù)據(jù)緩沖模型之上，數(shù)據(jù)緩沖模型的多個子緩沖為多線