基于XML數(shù)據(jù)源的ETL技術(shù)的研究.pdf

1、經(jīng)過(guò)長(zhǎng)期的信息化建設(shè)，使企業(yè)和組織內(nèi)部產(chǎn)生了大量遺留系統(tǒng)，這些系統(tǒng)在實(shí)施過(guò)程中缺乏系統(tǒng)性、一致性考慮，因而產(chǎn)生了大量異構(gòu)信息。這些信息無(wú)法進(jìn)行有效的共享和交換，導(dǎo)致以XML為基礎(chǔ)的信息集成平臺(tái)成為信息技術(shù)發(fā)展的一種必然趨勢(shì)。信息集成過(guò)程中，數(shù)據(jù)質(zhì)量難以保證，導(dǎo)致分析決策的可靠性降低，使得ETL(數(shù)據(jù)抽取、轉(zhuǎn)換、清洗、裝載)成為一個(gè)十分重要的環(huán)節(jié)，它將源系統(tǒng)中的數(shù)據(jù)轉(zhuǎn)換為有用的信息用于決策支持。因此，以XML為基礎(chǔ)的ETL技術(shù)的研究尤為重

2、要。本文主要的研究工作可概況為以下幾個(gè)方面：
　　第一，在分析XML、CWM與信息集成相融合的優(yōu)勢(shì)基礎(chǔ)上，提出了一種利用公共倉(cāng)庫(kù)元模型CWM解決信息集成中數(shù)據(jù)抽取的方案，構(gòu)建了一個(gè)基于公共倉(cāng)庫(kù)元模型CWM的結(jié)構(gòu)化數(shù)據(jù)信息集成架構(gòu)，設(shè)計(jì)了一個(gè)公共的、獨(dú)立于任何特定實(shí)現(xiàn)模型的元模型基礎(chǔ)上的Wrapper，解決了結(jié)構(gòu)化數(shù)據(jù)抽取過(guò)程中由于數(shù)據(jù)源發(fā)生變化引起的Wrapper維護(hù)問(wèn)題。
　　第二，在分析現(xiàn)有XML數(shù)據(jù)相似性檢測(cè)技術(shù)基礎(chǔ)上

3、，提出了一種節(jié)點(diǎn)加權(quán)與樹(shù)編輯距離相結(jié)合的檢測(cè)方法，該方法通過(guò)計(jì)算XML帶權(quán)樹(shù)的相似度來(lái)對(duì)數(shù)據(jù)進(jìn)行粗略匹配、簡(jiǎn)單聚集，然后在每個(gè)集合中利用樹(shù)編輯距離算法進(jìn)行相似性檢測(cè)。由于對(duì)XML數(shù)據(jù)進(jìn)行了預(yù)處理，減少了不必要的樹(shù)編輯操作，因而時(shí)間復(fù)雜度大大降低。
　　第三，為了將理論應(yīng)用于實(shí)踐，在一個(gè)應(yīng)用實(shí)例中進(jìn)行實(shí)驗(yàn)?zāi)M。構(gòu)建了特種設(shè)備整合系統(tǒng)的體系結(jié)構(gòu)，設(shè)計(jì)了信息集成過(guò)程中數(shù)據(jù)抽取的元數(shù)據(jù)統(tǒng)一格式，并抽取出所需要的XML數(shù)據(jù)。另外，為了驗(yàn)證本