基于網絡的數(shù)據(jù)清洗技術研究.pdf

1、隨著時間的流逝,人們設計的信息系統(tǒng)中收集了越來越多的數(shù)據(jù),有的甚至達到了TB、PB以上這種海量的級別。一些因素如:內容過時、輸入錯誤、重復輸入、屬性值沖突等嚴重影響著數(shù)據(jù)的質量。當前的算法都是需要依賴提前獲知屬性間依賴關系的,但現(xiàn)實中的數(shù)據(jù)的函數(shù)依賴關系并非都是已知的。為了克服種種因數(shù)據(jù)的質量所引發(fā)的問題,彌補當前方法的不足,我們提出了基于網絡的數(shù)據(jù)清洗方法。
　　互聯(lián)網上有海量的知識可以用來支持數(shù)據(jù)的清洗工作,我們在檢查一條數(shù)據(jù)

2、是否滿足質量要求的同時,可以根據(jù)關系數(shù)據(jù)的特點先從網絡上獲得其相應的文本模式的知識,然后根據(jù)模式的知識來檢查數(shù)據(jù)的質量,并對不符合質量要求的數(shù)據(jù)進行清洗。
　　本文首先對所研究的數(shù)據(jù)質量問題、數(shù)據(jù)清洗的內容、基于網絡的數(shù)據(jù)清洗技術都給出了明確的定義。本文希望搭建一個基于網絡知識的數(shù)據(jù)清洗框架,它首先將本地的關系數(shù)據(jù)中的元組進行分類。將其中確定正確的元組數(shù)據(jù)進行抽樣并放到WEB上交互,以基于互聯(lián)網檢索內容的模糊匹配為工具,獲得其相應

3、的文本模式知識。然后利用找到的模式知識,對本地數(shù)據(jù)中存在質量問題且適用于此技術的數(shù)據(jù)進行基于網絡知識的清洗。
　　本文中所提出的基于網絡的數(shù)據(jù)清洗框架共分為三大部分,第一部分是數(shù)據(jù)質量問題的檢測,第二部分是模式的獲取部分,最后一部分是清洗部分。其中數(shù)據(jù)質量問題的檢測部分直接與另外兩部分交互。模式的獲取部分又可分為關鍵字生成、模式的獲取兩個模塊。清洗部分包含可行元組的選擇、基于獲取到的模式的元組清洗、使用其它策略的清洗三個模塊。