數(shù)據(jù)倉庫ETL研究及實現(xiàn).pdf

1、隨著計算機及網(wǎng)絡(luò)技術(shù)的快速發(fā)展，許多行業(yè)、單位和部門內(nèi)部都逐步實現(xiàn)了業(yè)務(wù)、信息的計算機化管理，開發(fā)了大量軟硬件平臺各異的應(yīng)用系統(tǒng)，在各種應(yīng)用系統(tǒng)下又積累了豐富的數(shù)據(jù)資源，這些數(shù)據(jù)資源由于軟硬件平臺各異、數(shù)據(jù)模型各異而形成了異構(gòu)數(shù)據(jù)。而這些數(shù)據(jù)資源是企業(yè)的寶貴財富，企業(yè)單位迫切需要集成這些地理上分布、管理上自治、模式上異構(gòu)的異構(gòu)數(shù)據(jù)源。 本文以攀鋼統(tǒng)計系統(tǒng)為研究背景。分析了數(shù)據(jù)倉庫的體系結(jié)構(gòu)，通過項目中的具體實例闡述了攀鋼統(tǒng)計系統(tǒng)

2、ETL(Extract、Transformation、Loading，抽取、轉(zhuǎn)換、加載)的實現(xiàn)過程，并給出了結(jié)果數(shù)據(jù)。另外針對目前攀鋼統(tǒng)計系統(tǒng)數(shù)據(jù)提取方式上存在問題并結(jié)合攀鋼系統(tǒng)的實際情況，提出了增量數(shù)據(jù)提取方式的改進方法。最后在對攀鋼統(tǒng)計系統(tǒng)數(shù)據(jù)集成技術(shù)的優(yōu)缺點進行總結(jié)的基礎(chǔ)上，本課題對通用數(shù)據(jù)倉庫ETL工具進行了設(shè)計，提出ETL工具的體系架構(gòu)。該ETL工具具有元數(shù)據(jù)管理、數(shù)據(jù)提取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清洗、數(shù)據(jù)加載、多線程并發(fā)處理、異常處

3、理等功能，最后在該設(shè)計框架下，用Java語言實現(xiàn)了該ETL工具的部分模塊并進行了測試，測試結(jié)果表明該工具是切實可行的，它能夠?qū)崿F(xiàn)通用的，高效的數(shù)據(jù)提取、轉(zhuǎn)換、清洗、加載等功能。 本文所提出的增量數(shù)據(jù)提取的改進方法，提高了數(shù)據(jù)提取的效率；在對通用ETL工具進行設(shè)計時提出了以元數(shù)據(jù)驅(qū)動數(shù)據(jù)ETL過程的方法，以元數(shù)據(jù)作為系統(tǒng)的中心，實現(xiàn)了系統(tǒng)的智能化；本文所設(shè)計的ETL工具還考慮了異常處理問題，并采取將異常處理信息轉(zhuǎn)化為元數(shù)據(jù)信息的方