數(shù)據(jù)集成中基于數(shù)據(jù)依賴的數(shù)據(jù)質量處理技術研究.pdf

1、數(shù)據(jù)是信息的載體，隨著信息處理技術的不斷發(fā)展，各個領域都積累了大量的數(shù)據(jù)，數(shù)據(jù)集成技術應運而生。為了更好的利用數(shù)據(jù)進行分析和決策，要求數(shù)據(jù)是可靠的、沒有錯誤的，這就使得對數(shù)據(jù)質量的需求愈加迫切。本文對數(shù)據(jù)集成中的數(shù)據(jù)質量問題進行研究，提出了基于數(shù)據(jù)依賴的數(shù)據(jù)質量處理技術。
　　首先，本文就數(shù)據(jù)質量的研究現(xiàn)狀進行了詳細的介紹，包括數(shù)據(jù)質量的定義、評估、分類、數(shù)據(jù)質量提高方法以及數(shù)據(jù)集成中的數(shù)據(jù)質量問題，針對數(shù)據(jù)集成中的數(shù)據(jù)質量問題的

2、特點，本文研究了其中比較突出的兩個方面的處理技術:數(shù)據(jù)一致性處理和數(shù)據(jù)唯一性處理。
　　對于數(shù)據(jù)一致性，本文研究了基于條件依賴的處理技術。本文分析了現(xiàn)有一致性處理方法存在的不足，依照條件包含依賴定義了條件包含依賴的非一致性數(shù)據(jù)的語義假設，并且制定了相應地非一致性數(shù)據(jù)的修復規(guī)則?；谛迯鸵?guī)則，結合已有的條件函數(shù)依賴修復算法，設計了利用條件依賴進行一致性處理的算法，更為有效地解決了數(shù)據(jù)源內(nèi)部和數(shù)據(jù)源之間的數(shù)據(jù)不一致問題。
　　對

3、于數(shù)據(jù)唯一性，本文研究了基于復制依賴的處理技術。數(shù)據(jù)集成通常會導致很多相似重復記錄，檢測出這些記錄并進行合并可以保證數(shù)據(jù)的唯一性，但目前關于相似重復記錄的合并技術研究相對較少。針對現(xiàn)實世界中數(shù)據(jù)集成的數(shù)據(jù)源之間通常存在復制依賴關系的情況，本文通過獲取數(shù)據(jù)源之間的復制依賴關系圖，進而利用它確定數(shù)據(jù)最終的正確值，達到保證數(shù)據(jù)唯一性的目的。此外，還研究了唯一性處理算法的性能優(yōu)化問題，給出了性能優(yōu)化方法。
　　最后，本文分別地對以上處理技