異構(gòu)數(shù)據(jù)抽取轉(zhuǎn)換分析工具（ETLA）的設(shè)計及關(guān)鍵技術(shù)研究.pdf

1、隨著企業(yè)信息化的發(fā)展，企業(yè)紛紛新建商業(yè)智能系統(tǒng)進(jìn)行數(shù)據(jù)分析和輔助決策。而數(shù)據(jù)的異構(gòu)導(dǎo)致了系統(tǒng)實施、數(shù)據(jù)整合的困難，解決異構(gòu)數(shù)據(jù)采集、高效轉(zhuǎn)換問題是當(dāng)前數(shù)據(jù)交換、處理的研究熱點。當(dāng)前的解決方案多采用ETL(Extract-Transform-Load)技術(shù)。 本文首先介紹了ETL技術(shù)的研究背景和研究現(xiàn)狀以及ETL的基本概念。在總結(jié)現(xiàn)存ETL技術(shù)不足的基礎(chǔ)上，提出了本文的研究目標(biāo)和研究內(nèi)容。 本文詳細(xì)論述了自行研發(fā)的基于網(wǎng)絡(luò)

2、的異構(gòu)數(shù)據(jù)抽取工具(ETLA)的設(shè)計思想及其主要技術(shù)。包括ETLA工具的系統(tǒng)框架、實現(xiàn)流程、集成技術(shù)以及基于數(shù)據(jù)項的源-目數(shù)據(jù)映射及其解析技術(shù)。 在分析數(shù)據(jù)源的異構(gòu)性、動態(tài)變化性和目前集成技術(shù)的基礎(chǔ)上，提出了一種基于Wrapper／Mediator技術(shù)的擴(kuò)展框架，實現(xiàn)寬松集成，保證數(shù)據(jù)源之間最大限度的自治性。為了給用戶提供統(tǒng)一的數(shù)據(jù)視圖，本文提出了UDME公共數(shù)據(jù)模型描述數(shù)據(jù)對象及對象之間的關(guān)系，這種數(shù)據(jù)模型可以很容易的描述原子

3、對象與復(fù)合對象之間的對應(yīng)關(guān)系；采用基于HTML發(fā)現(xiàn)的WEB數(shù)據(jù)抽取技術(shù)準(zhǔn)確從WEB源文件中抽取所需的數(shù)據(jù)，實現(xiàn)了WEB數(shù)據(jù)的簡單高效集成。 源目數(shù)據(jù)的映射技術(shù)關(guān)系到數(shù)據(jù)抽取的有效性和抽取規(guī)模。本系統(tǒng)采用了基于單數(shù)據(jù)項的表達(dá)式映射法。用戶自定義目標(biāo)表和確定映射關(guān)系表達(dá)式，系統(tǒng)通過讀取相關(guān)元數(shù)據(jù)，將與映射相關(guān)的源數(shù)據(jù)字段抽取到數(shù)據(jù)準(zhǔn)備區(qū)實現(xiàn)轉(zhuǎn)換集成，保證了按需抽取，提高了抽取和轉(zhuǎn)換的效率。 本文最后對ETLA系統(tǒng)實現(xiàn)的研究工