面向數(shù)據(jù)集成的數(shù)據(jù)質(zhì)量控制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、數(shù)據(jù)集成技術(shù)為企業(yè)解決跨多平臺(tái)，異構(gòu)數(shù)據(jù)的集成問(wèn)題提供了一條解決途徑。數(shù)據(jù)集成系統(tǒng)可以把企業(yè)內(nèi)部的各種相關(guān)數(shù)據(jù)資源進(jìn)行集成、共享，為消除信息孤島，也為企業(yè)的信息資源規(guī)劃提供了可能。數(shù)據(jù)集成過(guò)程是一個(gè)從分布的數(shù)據(jù)源(包括數(shù)據(jù)庫(kù)、應(yīng)用系統(tǒng)等)抽取數(shù)據(jù)，進(jìn)行轉(zhuǎn)換、集成和傳輸，以目標(biāo)系統(tǒng)希望的數(shù)據(jù)形式加載到目標(biāo)系統(tǒng)中的過(guò)程。在此過(guò)程中，數(shù)據(jù)質(zhì)量控制是一個(gè)至關(guān)重要的基本組件和功能，它對(duì)“臟”數(shù)據(jù)進(jìn)行屏蔽，防止“臟”數(shù)據(jù)進(jìn)入目標(biāo)系統(tǒng)，同時(shí)負(fù)責(zé)解決數(shù)

2、據(jù)源之間模式關(guān)聯(lián)和映射問(wèn)題。在實(shí)際的數(shù)據(jù)集成過(guò)程中如果缺少對(duì)數(shù)據(jù)質(zhì)量的有效控制，常常會(huì)導(dǎo)致集成過(guò)程的失敗。 “如何根據(jù)數(shù)據(jù)集成的特點(diǎn)，設(shè)計(jì)面向數(shù)據(jù)集成的數(shù)據(jù)質(zhì)量控制系統(tǒng)，減少數(shù)據(jù)集成中的數(shù)據(jù)質(zhì)量問(wèn)題”是論文研究的重點(diǎn)。 論文首先從數(shù)據(jù)集成過(guò)程的特點(diǎn)出發(fā)，討論了數(shù)據(jù)集成過(guò)程中數(shù)據(jù)質(zhì)量控制的特點(diǎn)和難點(diǎn)，確立了本論文關(guān)于數(shù)據(jù)集成中數(shù)據(jù)質(zhì)量控制的研究方向，即：分別從模式集成和實(shí)例數(shù)據(jù)清洗兩個(gè)方面進(jìn)行數(shù)據(jù)質(zhì)量控制問(wèn)題研究。

3、 論文分別在模式集成和實(shí)例數(shù)據(jù)清洗兩個(gè)層面提出了自動(dòng)化和基于規(guī)則相結(jié)合的數(shù)據(jù)質(zhì)量控制策略。在模式集成的研究中，論文提出了一種模式自動(dòng)匹配算法用來(lái)輔助進(jìn)行模式集成，并將模式轉(zhuǎn)換和模式?jīng)_突檢測(cè)結(jié)合到模式集成過(guò)程中。在實(shí)例數(shù)據(jù)清洗研究中，提出基于統(tǒng)計(jì)分析的異常數(shù)據(jù)自動(dòng)檢測(cè)方法。同時(shí)，提出了一種針對(duì)中文的相似重復(fù)記錄的檢測(cè)算法，能夠有效地檢測(cè)多語(yǔ)言的相似重復(fù)記錄。在上述研究基礎(chǔ)上，論文提出了基于規(guī)則的數(shù)據(jù)質(zhì)量控制策略，通過(guò)用戶自定義的模式集成規(guī)