Web信息集成中數(shù)據(jù)清洗的研究.pdf

1、數(shù)據(jù)清洗的需求由來己久，對數(shù)據(jù)清洗技術的研究一直是數(shù)據(jù)管理領域及其相關領域中一個非常熱門的課題。本文主要研究的是在Web信息集成過程中“臟數(shù)據(jù)”問題的解決方法，重點研究了重復記錄檢測及其相關算法，為消除臟數(shù)據(jù)、保證集成數(shù)據(jù)的質量提供了一套解決方案。 本文首先論述了數(shù)據(jù)質量的定義及其相關概念，總結了數(shù)據(jù)清洗技術的原理，數(shù)據(jù)清洗的方法，并給出數(shù)據(jù)清洗的評價標準。針對數(shù)據(jù)清洗的一般步驟，提出數(shù)據(jù)清洗的框架一種是與領域無關的基于元數(shù)據(jù)的

2、數(shù)據(jù)清洗框架，一種是基于領域知識的數(shù)據(jù)清洗框架。此外還分別對不完整數(shù)據(jù)，異常數(shù)據(jù)和重復記錄的數(shù)據(jù)清洗技術進行了研究，給出了它們的定義，實例，清洗的一般步驟，基本流程，可采用的清洗方法。 本文就重復記錄清洗中各個步驟所涉及的關鍵算法進行了研究，主要包括基于編輯距離的字段匹配算法，記錄匹配的Palr-Wise比較算法，重復記錄檢測的SNM算法，給出了算法的基本思想，算法復雜度分析。并針對SNM算法進行了改進。本文還給出了重復記錄合并

3、/刪除的規(guī)則。 根據(jù)Web信息集成中Web數(shù)據(jù)的特點，給出了基于Web的數(shù)據(jù)清洗框架，該框架主要是利用XML特點，在XML對數(shù)據(jù)庫映射的同時進行數(shù)據(jù)清洗的預處理，即對數(shù)據(jù)進行元素化，標準化，提高數(shù)據(jù)清洗的效率。利用前面研究的重復記錄清洗的算法，對Web信息抽取后的數(shù)據(jù)進行了重復記錄的檢測，并根據(jù)實驗結果進行了相關分析。 本文最后提出了一種基于中文的重復記錄檢測方法，主要是根據(jù)漢語的特點，在匹配前進行中文分詞和語義匹配，以