面向數(shù)據(jù)集成的數(shù)據(jù)清理關(guān)鍵技術(shù)研究.pdf

1、數(shù)據(jù)清理是企業(yè)數(shù)據(jù)集成領(lǐng)域重要且熱門的研究問(wèn)題。隨著企業(yè)應(yīng)用日益復(fù)雜，企業(yè)數(shù)據(jù)的質(zhì)量及其管理代價(jià)成為越來(lái)越受關(guān)注的方面。傳統(tǒng)的企業(yè)數(shù)據(jù)質(zhì)量管理基于靜態(tài)質(zhì)量規(guī)則來(lái)刻畫(huà)和保障，在擴(kuò)展性和自動(dòng)化處理方面難以滿足企業(yè)應(yīng)用的需求。如何以完整性約束理論為基礎(chǔ)，自動(dòng)化地推理和挖掘數(shù)據(jù)清理規(guī)則并保證數(shù)據(jù)的一致性，是數(shù)據(jù)質(zhì)量保障一個(gè)新的熱點(diǎn)問(wèn)題。本文針對(duì)企業(yè)數(shù)據(jù)集成領(lǐng)域的數(shù)據(jù)質(zhì)量保障問(wèn)題，研究高效地檢測(cè)和清理不一致數(shù)據(jù)的方法與技術(shù)。
　　 首先，

2、本文提出了一種基于反向約束傳播的異常數(shù)據(jù)檢測(cè)方法，根據(jù)數(shù)據(jù)集成目的端的質(zhì)量約束推理源端需要滿足的質(zhì)量約束，從而在源端進(jìn)行異常數(shù)據(jù)檢測(cè)。在數(shù)據(jù)集成流程中，數(shù)據(jù)源端的數(shù)據(jù)經(jīng)過(guò)流程處理后，可能會(huì)將違反目的端的完整性約束，導(dǎo)致不成功的加載或者成為目的端數(shù)據(jù)庫(kù)中的臟數(shù)據(jù)，因?yàn)閿?shù)據(jù)量大，而且可能存在遠(yuǎn)程的數(shù)據(jù)傳輸，通過(guò)執(zhí)行調(diào)試的方法來(lái)定位問(wèn)題數(shù)據(jù)的代價(jià)太大。本論文中提出反向約束傳播(Backwards ConstraintPropagation,B

3、CP)的方法，首先將數(shù)據(jù)集成流程建模為有向無(wú)環(huán)圖，然后自動(dòng)將目的端數(shù)據(jù)庫(kù)的完整性約束沿著數(shù)據(jù)流反方向，向數(shù)據(jù)源端推理。文中采用一階邏輯定義并證明面向基本關(guān)系代數(shù)操作的約束傳播規(guī)則，并定義約束傳播規(guī)則支持采用屬性映射和元組映射兩個(gè)抽象操作標(biāo)注的復(fù)雜數(shù)據(jù)操作，使BCP可以支持大多數(shù)類型的數(shù)據(jù)操作。案例分析及實(shí)驗(yàn)表明該方法可以有效輔助捕獲異常數(shù)據(jù)并提高數(shù)據(jù)集成流程的設(shè)計(jì)效率。
　　 其次，本文提出基于NULL修復(fù)的一致性查詢方法，支持

4、對(duì)不一致數(shù)據(jù)源在查詢時(shí)自動(dòng)過(guò)濾不一致的屬性信息。多個(gè)數(shù)據(jù)源的數(shù)據(jù)集成后，因?yàn)槿狈ψ銐虻妮o助信息進(jìn)行清理，可能存在大量違反完整性約束的數(shù)據(jù)。一致性查詢技術(shù)(Consistent Query Answering,CQA)研究如何在查詢時(shí)采用虛擬修復(fù)的方法獲取一致的結(jié)果，但已有的方法大多基于元組刪除的修復(fù)方法，可能導(dǎo)致信息丟失，而且對(duì)于大多數(shù)約束求解CQA是NP問(wèn)題。我們將約束類型限制在屬性級(jí)，即只有違反約束的屬性為不一致信息，并提出基于NU

5、LL的修復(fù)語(yǔ)義，將所有不一致屬性使用NULL替換得到虛擬修復(fù)。當(dāng)進(jìn)行NULL修復(fù)后可能會(huì)產(chǎn)生新的不一致屬性，針對(duì)該問(wèn)題提出約束擴(kuò)展算法，通過(guò)一輪檢測(cè)定位所有可能的不一致屬性。然后，基于NULL修復(fù)語(yǔ)義給出了SQL重寫(xiě)算法來(lái)實(shí)現(xiàn)CQA。文中進(jìn)行了實(shí)驗(yàn)與性能分析，表明該方法計(jì)算復(fù)雜度與數(shù)據(jù)庫(kù)規(guī)模、不一致數(shù)據(jù)比例、查詢類型成線性比例關(guān)系。
　　 再次，本文提出了一種數(shù)據(jù)清理流程的通用優(yōu)化框架，支持對(duì)數(shù)據(jù)清理流程操作的自動(dòng)重構(gòu)，優(yōu)化流程

6、的執(zhí)行效率。隨著數(shù)據(jù)量飛速的增長(zhǎng)，性能成為數(shù)據(jù)清理的瓶頸，如果對(duì)數(shù)據(jù)清理流程的邏輯模型進(jìn)行優(yōu)化，可以在不增加資源的情況下獲取性能的提升。本文提出一個(gè)框架，通過(guò)對(duì)流程進(jìn)行語(yǔ)義等價(jià)的結(jié)構(gòu)變換生成備選流程，并預(yù)測(cè)各備選流程的執(zhí)行代價(jià)選擇最優(yōu)的流程。支持對(duì)操作組件標(biāo)注其操作語(yǔ)義的特征屬性，定義特定領(lǐng)域的流程變換規(guī)則，同時(shí)提出根據(jù)流程代價(jià)相對(duì)關(guān)系來(lái)構(gòu)建代價(jià)偏序圖，提高流程選擇的精確度。為了表明該框架的通用性和有效性，將其應(yīng)用到web數(shù)據(jù)Mashu