ETL工作流過程建模優(yōu)化與開發(fā).pdf

1、ETL（抽取、轉(zhuǎn)換、裝載）是構(gòu)建和實(shí)施數(shù)據(jù)倉庫的基本構(gòu)件，它按照統(tǒng)一的規(guī)則對異構(gòu)數(shù)據(jù)源進(jìn)行集成并負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉庫轉(zhuǎn)化的過程。ETL需要處理海量的數(shù)據(jù)，工作流的執(zhí)行需要消耗大量的時間。由于數(shù)據(jù)源之間往往存在數(shù)據(jù)的不一致，而數(shù)據(jù)轉(zhuǎn)換必須做到數(shù)據(jù)名稱及格式的統(tǒng)一；同時ETL過程中存在著許多同類的以及可合并的活動，這些活動產(chǎn)生大量的冗余空間。因此， ETL工作流的建模與優(yōu)化非常重要。本文通過對ETL的活動建模，提出ETL處理的

2、總體設(shè)計(jì)，并采用狀態(tài)空間搜索策略來進(jìn)行工作流的優(yōu)化。 本文在充分分析平面數(shù)據(jù)源與Excel數(shù)據(jù)源數(shù)據(jù)格式的基礎(chǔ)上，形式化地定義用于描述ETL過程的模型，定義ETL活動的實(shí)體、關(guān)系和屬性以及一系列的邏輯過程，建立相應(yīng)的概念模型和邏輯模型，對數(shù)據(jù)源和數(shù)據(jù)倉庫實(shí)現(xiàn)ETL系統(tǒng)的工作流設(shè)計(jì)。 ETL規(guī)則的設(shè)計(jì)和實(shí)施的作用是屏蔽復(fù)雜的業(yè)務(wù)邏輯，為數(shù)據(jù)倉庫的分析和應(yīng)用提供統(tǒng)一的數(shù)據(jù)接口。本文在建立ETL概念模型和邏輯模型的基礎(chǔ)上，通過

3、IS包技術(shù)實(shí)現(xiàn)了ETL過程的數(shù)據(jù)清理和轉(zhuǎn)換組件模塊，完成數(shù)據(jù)從支撐系統(tǒng)到數(shù)據(jù)倉庫的抽取、轉(zhuǎn)換和裝載處理。 本文通過對ETL工作流進(jìn)行形式化的定義，把ETL活動狀態(tài)抽象為一個有向無環(huán)圖，通過一系列狀態(tài)變換產(chǎn)生所有等價狀態(tài)圖，定義一個代價模型來衡量ETL活動執(zhí)行的代價，那么從所有等價的ETL工作流中選擇代價最小的即為最優(yōu)的ETL過程。因此，為了要找到ETL活動狀態(tài)代價最小的ETL過程，ETL過程優(yōu)化問題可建模成狀態(tài)空間搜索問題。同時