并行系統(tǒng)中ETL工具的優(yōu)化.pdf

1、ETL是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過(guò)抽取、清洗轉(zhuǎn)換之后加載到數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程，目的是將企業(yè)中的分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決策提供分析的依據(jù)。所謂ETL，即Extract，Transform和Load的縮寫。研究表明ETL部分的研制過(guò)程占整個(gè)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目研發(fā)時(shí)間的百分之七十左右。 目前有很多專業(yè)的ETL工具，除了一些開源的工具之外還有很多公司開發(fā)了專門的商業(yè)化ETL軟件。 最流行的ETL軟件包括Informat

2、ica公司的PowerCenter，IBM公司的DataStage還有NCR Teradata公司的ETL Automation等。HP公司從2006年開始構(gòu)建企業(yè)內(nèi)部新的統(tǒng)一數(shù)據(jù)倉(cāng)庫(kù)EDW。采用了公司自行開發(fā)的ETL工具DIAL。DIAL運(yùn)行在HP Integrity或者NonStop服務(wù)器上，充分利用了底層硬件的并行處理能力。具有很強(qiáng)大的數(shù)據(jù)處理能力。 但另一方面，無(wú)論DIAL還是前面所提到的三個(gè)商業(yè)工具都沒(méi)有對(duì)ETL工作流

3、進(jìn)行優(yōu)化操作。本文在傳統(tǒng)數(shù)據(jù)庫(kù)SQL優(yōu)化的理論基礎(chǔ)上探討了ETL workflow優(yōu)化的方法，在實(shí)現(xiàn)過(guò)程中充分考慮了底層硬件的并行處理能力。 本文提出了一種基于選擇前推的邏輯優(yōu)化算法，用于加快復(fù)雜的數(shù)據(jù)庫(kù)數(shù)據(jù)事務(wù)處理。通過(guò)等價(jià)的工作流變換，找到代價(jià)最小的一種形式，從而提高數(shù)據(jù)處理的效率。 另外為了充分利用NonStop服務(wù)器強(qiáng)大的并行處理能力，本文提出了一種基于文件分割的方法，將將一個(gè)大文件分割為多個(gè)小的文件，利用多個(gè)進(jìn)