ETL執(zhí)行過程的優(yōu)化研究.pdf

1、ETL(Extraction-Transformation-Loading)是構(gòu)建和維護(hù)數(shù)據(jù)倉庫的基本構(gòu)件，由于它處理的是海量數(shù)據(jù)，如何加快響應(yīng)時(shí)間成為值得研究的問題。大多數(shù)的ETL商業(yè)工具提供設(shè)計(jì)和管理ETL工作流的工具，但不采用任何優(yōu)化措施。設(shè)計(jì)好的ETL工作流交給DBMS執(zhí)行，由DBMS完成優(yōu)化任務(wù)。但ETL過程不能僅作為一個(gè)大的查詢交給數(shù)據(jù)庫去處理，在ETL過程中各個(gè)活動(dòng)相互關(guān)聯(lián)，全局優(yōu)化是必須考慮的。 本文對(duì)ETL過程

2、的邏輯優(yōu)化進(jìn)行了研究。對(duì)ETL工作流進(jìn)行了形式化定義，介紹了狀態(tài)等價(jià)變換的轉(zhuǎn)換規(guī)則，狀態(tài)變換過程的模式產(chǎn)生，轉(zhuǎn)換規(guī)則的適用性，工作流的等價(jià)性判定規(guī)則。ETL工作流的優(yōu)化問題可建模成狀態(tài)空間搜索問題：一個(gè)ETL工作流可看作一個(gè)狀態(tài)圖，對(duì)每個(gè)狀態(tài)圖采用狀態(tài)變換產(chǎn)生所有可能的等價(jià)狀態(tài)圖，從中找出代價(jià)最小的狀態(tài)圖即為最優(yōu)ETL執(zhí)行過程。并提出了一個(gè)ETL優(yōu)化體系結(jié)構(gòu)。 論文給出了獲得最優(yōu)化ETL過程的算法，首先通過窮舉法對(duì)狀態(tài)空間進(jìn)行完