odi技術白皮書

1、acleDataIntegrat技術白皮書第1頁acleDataIntegrat技術白皮書1介紹22ELT體系結構32.1傳統(tǒng)的ETL32.2ELT43聲明設計（DECLARATIVEDESIGN）63.1傳統(tǒng)的ETL設計63.2聲明設計（DeclarativeDesign）64知識模塊（KNOWLEDGEMODULES）94.1知識模塊的類型94.2設計階段和運行階段的知識模塊94.3靈活性和可擴展性105面向事件的集成115.1面向

2、消息的集成115.2變化數(shù)據(jù)捕獲115.3發(fā)布和訂閱模型125.4處理變化數(shù)據(jù)集的一致性126支持SOA框架146.1數(shù)據(jù)和轉換服務146.2WebServices訪問157數(shù)據(jù)完整性167.1為數(shù)據(jù)完整性聲明規(guī)則167.2在集成過程中的數(shù)據(jù)完整性防火墻177.3強制規(guī)則177.4使用第三方姓名及地址清洗工具188體系結構198.1用戶界面198.2代理208.3存儲庫208.4元數(shù)據(jù)導航器輕量級設計器219方案（SCENARIOS）2

3、29.1數(shù)據(jù)倉庫和商業(yè)智能229.2面向服務的集成239.3主數(shù)據(jù)管理2410結論25acleDataIntegrat技術白皮書第3頁2ELT體系結構體系結構2.1傳統(tǒng)的傳統(tǒng)的ETL傳統(tǒng)的ETL工具的運行方式是，首先從多種數(shù)據(jù)源抽取數(shù)據(jù)，然后在一個專有的、中間層的ETL引擎轉換數(shù)據(jù)，最后裝載轉換后的數(shù)據(jù)到數(shù)據(jù)倉庫或集成服務器中。因此“ETL”不僅僅是個名稱還表現(xiàn)了操作的順序。迄今為止，ETL過程的數(shù)據(jù)轉換是計算密集型最大的步驟，并且執(zhí)行

4、的整個過程完全是由專有ETL引擎在專用服務器上完成的。ETL引擎執(zhí)行數(shù)據(jù)轉換（有些時候還要進行數(shù)據(jù)質量檢查）是基于行級進行的，因此，在整個過程中很容易變成瓶頸。另外，數(shù)據(jù)一定要在網絡移動兩次，一次是數(shù)據(jù)源和ETL服務器之間，一次是ETL服務器和目標數(shù)據(jù)倉庫之間。因此，如果用戶想要確保參照完整性，例如通過從數(shù)據(jù)倉庫比較數(shù)據(jù)發(fā)現(xiàn)違反參照完整性的值，那被參照的數(shù)據(jù)一定要從目標下載到ETL服務器，這樣就更增加了網絡負載及下載時間并導致額外的性能

5、問題。例如，讓我們看一下傳統(tǒng)的ETL任務如何從目標數(shù)據(jù)倉庫尋找記錄去匹配數(shù)據(jù)源的數(shù)據(jù)。為了執(zhí)行這樣一個任務，一個傳統(tǒng)的ETL工具可能會使用下列三個方法之一：?裝載Lookup表到內存：整個lookup表被從目標服務器上檢索并被裝載到ETL引擎的內存中。在作為結果的被轉換的數(shù)據(jù)寫回目標服務器之前，用源數(shù)據(jù)記錄匹配（或連接）這個lookup數(shù)據(jù)是在內存中完成的。如果lookup表是相當大的，那么這個操作將需要在ETL引擎中耗費大量的內存和長

6、時間的數(shù)據(jù)裝載，以及重建索引。?即時執(zhí)行，逐行查找：對于每一行，ETL引擎都要送一個查詢到位于目標服務器上的lookup表。查詢的結果將返回一行已匹配（或已連接）當前行的記錄。如果lookup表包含50萬行記錄，ETL引擎將送50萬個查詢。這種處理方式將極大地減慢數(shù)據(jù)集成的進度并給目標服務器帶來嚴重的負載。?在ETL任務中使用手工編碼：這種方式使用ETL引擎僅僅是為了裝載數(shù)據(jù)源到目標數(shù)據(jù)庫，然后手工編寫SQL代碼將這些數(shù)據(jù)與lookup