多數(shù)據(jù)源環(huán)境下重復記錄檢測問題的研究.pdf

1、數(shù)據(jù)質量管理如同產(chǎn)品質量管理一樣貫穿于數(shù)據(jù)生命周期的各個階段，在許多領域中，如商業(yè)、體育、音樂、旅游等，有大量的數(shù)據(jù)源提供的數(shù)據(jù)信息重復。這些重復記錄會給系統(tǒng)的用戶在很多方面造成不便（如數(shù)據(jù)冗余、不一致、額外的資源耗費等），導致系統(tǒng)的可用性降低。因而需要我們能正確快速的將一個數(shù)據(jù)集合中的重復記錄識別出來。
　　當前的重復記錄檢測工作主要考慮如何在相同模式下做重復記錄的檢測工作，而面對大量的模式異構的記錄時，首先要做模式匹配，將模式

2、統(tǒng)一之后，在統(tǒng)一的模式下做重復記錄檢測的工作。但是當記錄集合來自于大量異構數(shù)據(jù)源，且其中存在著模式未知的情況時，重復記錄檢測工作則變得十分困難。
　　為了能夠正確有效地處理這種情況，本文提出了基于二分圖匹配的相似度度量方法和重復記錄檢測方法。本文研究了包含數(shù)據(jù)模式異構復雜并且模式信息缺失的的數(shù)據(jù)集合上的重復記錄檢測問題，在第二章提出了適合該情況的基于二分圖匹配的相似度度量，并以此為基礎在第三章提出了適用于上述情況的重復記錄檢測算法

3、?；诙謭D最優(yōu)匹配的重復記錄檢測算法具有考慮到模式異構，支持多種數(shù)據(jù)類型等特點，適用于大量異構數(shù)據(jù)源情況的重復記錄檢測。然而，這種方法的不足之處在于其需要較大的時間開銷，且由于其分類要求嚴苛，使得算法召回率受到影響。第四章針對基于二分圖最優(yōu)匹配的方法存在的兩個問題，基于編輯距離滿足三角不等式以及記錄相似度和屬性相似度滿足線性關系這兩個性質，提出了一種基于記錄相似度估計的高效重復記錄檢測算法，彌補了原始算法的兩個缺點。理論分析和實驗結果