高效ETL新方法的研究及基于SQL和元數據的ETL引擎的實現.pdf

1、隨著互連網和數據庫技術的不斷發(fā)展，經濟全球化帶來的企業(yè)競爭不斷加劇，越來越多的企業(yè)想構建自己的數據倉庫系統(tǒng)，對企業(yè)大量分散和異構的數據進行整合，期望從中獲得更多有用的信息，來提升企業(yè)的競爭力。數據倉庫系統(tǒng)的基本功能應包括數據獲取、數據存儲、數據訪問三個關鍵部分。把不同來源、格式、特點的數據在邏輯上或物理上有機地集中，從而為企業(yè)提供全面的數據共享，這就是數據集成的概念。數據集成研究中最重要的就是對ETL方法的研究。 本研究的重點是

2、ETL的實現方法?，F有的ETL方法主要是通過中央引擎來處理數據，這種方式造成性能上的瓶頸，增加網絡的負荷，并且不具有良好的可伸縮性和可擴展性。同時現有的ETL工具也不適合大量ETL業(yè)務規(guī)則的開發(fā)。如何實現高效的ETL引擎是本文研究的重點。 目前企業(yè)數據環(huán)境是以關系型數據庫和數據倉庫為主，而且數據庫系統(tǒng)的功能逐漸強大，數據庫系統(tǒng)本身就可以完成很多數據集成過程。因此，本研究利用了現有的數據庫技術，在關系型數據倉庫的基礎上，提出了一種

3、實現ETL過程的新方法——E-LT方法。E-LT方法和傳統(tǒng)的E-T-L方法的區(qū)別在于轉換(T)與裝載(L)并沒有嚴格的順序，轉換在裝載之前、之后或同時進行均可。該方法使用純粹的SQL語句來完成ETL過程，不需要其它編程語言的介入，ETL工具的作用由原來的數據處理轉為自動的SQL腳本生成。同時，本文提出ETL工具是元數據驅動的，以提供更好的柔性機制、擴展能力和可操作性。本文的研究還實現了一個元數據驅動的E-LT引擎，并且應用到國家海洋環(huán)境