基于CMW的ETL在數(shù)據(jù)中心中的應(yīng)用研究.pdf

1、隨著數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用的不斷推廣，構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的各種工具也不斷涌現(xiàn)出來(lái)。為了支持整個(gè)數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中各部分之間的無(wú)縫集成，這些工具需要彼此協(xié)作，使數(shù)據(jù)流能在各個(gè)工作環(huán)節(jié)中暢通流動(dòng)。同時(shí)盡量保證信息的完整性和正確性，為此，數(shù)據(jù)倉(cāng)庫(kù)中的元數(shù)據(jù)必須有統(tǒng)一良好的定義。
　　 ETL在數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能中都是重要的組成部分，而且ETL的開(kāi)發(fā)在整個(gè)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目開(kāi)發(fā)周期中也是比較耗時(shí)的部分。在數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)過(guò)程中，開(kāi)發(fā)人員通常更關(guān)注業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)

2、據(jù)，卻忽視了ETL元數(shù)據(jù)的管理，導(dǎo)致ETL開(kāi)發(fā)周期的延長(zhǎng)。目前，元數(shù)據(jù)管理結(jié)構(gòu)有兩種:一種是集中式的元數(shù)據(jù)管理結(jié)構(gòu)，即整個(gè)系統(tǒng)只有一個(gè)元數(shù)據(jù)倉(cāng)儲(chǔ)，所有工具和數(shù)據(jù)倉(cāng)庫(kù)直接從這個(gè)中心元數(shù)據(jù)倉(cāng)儲(chǔ)中獲取元數(shù)據(jù)信息，這種結(jié)構(gòu)只適合于中小規(guī)模的企業(yè)。對(duì)于大型企業(yè)中數(shù)據(jù)環(huán)境較為復(fù)雜的應(yīng)用場(chǎng)景，集中管理幾乎不可能。另一種是分散式的元數(shù)據(jù)管理結(jié)構(gòu)，這種結(jié)構(gòu)建立了若干個(gè)分布的、相對(duì)自治的元數(shù)據(jù)倉(cāng)儲(chǔ)，分別處理某個(gè)單一領(lǐng)域的元數(shù)據(jù)，而全局元數(shù)據(jù)則由元數(shù)據(jù)管理系

3、統(tǒng)來(lái)管理。這種分散式結(jié)構(gòu)雖然分散管理元數(shù)據(jù)，但在共享元數(shù)據(jù)部分由于要從不同元數(shù)據(jù)庫(kù)中得到元數(shù)據(jù)，并且不同的元數(shù)據(jù)庫(kù)有可能使用不同的元數(shù)據(jù)定義形式，所以仍然要解決元數(shù)據(jù)異構(gòu)的問(wèn)題。而且這些分布的、自治的元數(shù)據(jù)庫(kù)間的集成不可避免地要用到元數(shù)據(jù)交換協(xié)議，因此也延長(zhǎng)了開(kāi)發(fā)周期。
　　 公共倉(cāng)庫(kù)元模型(CWM)是一種基于UML設(shè)計(jì)的，用于建立公共倉(cāng)庫(kù)的元模型，并且是面向?qū)ο蟮哪Ｐ?。本文?duì)CWM進(jìn)行了深入研究，運(yùn)用該模型對(duì)ETL元數(shù)據(jù)建模，

4、將對(duì)象模型映射到關(guān)系模型，并建立相應(yīng)的元數(shù)據(jù)庫(kù)，最后將設(shè)計(jì)的元數(shù)據(jù)庫(kù)應(yīng)用到浦東數(shù)據(jù)中心數(shù)據(jù)管理子系統(tǒng)。通過(guò)對(duì)ETL元數(shù)據(jù)的有效管理，可以更加直觀地將ETL數(shù)據(jù)源、轉(zhuǎn)換規(guī)則以及映射關(guān)系反映給ETL工程師，便于ETL的開(kāi)發(fā)和ETL元數(shù)據(jù)的維護(hù)。
　　 文章首先介紹了元數(shù)據(jù)、ETL和ETL元數(shù)據(jù)等相關(guān)概念，深入研究了CWM模型的整體架構(gòu)、設(shè)計(jì)原則、各組成包的功能以及包之間的關(guān)系，重點(diǎn)分析了CWM中與ETL相關(guān)的包。然后，利用CWM中的