基于DBSCAN算法的相似重復記錄檢測方法研究.pdf

1、隨著信息技術的飛速發(fā)展，決策人員在進行決策分析時對各方面信息和數據的依賴性越來越強，于是在數據庫的基礎上產生了滿足決策分析所需要的數據環(huán)境－數據倉庫。在構建數據倉庫的過程中，其數據源是以異構形態(tài)分布的，這就使得導入數據倉庫的數據存在問題，致使應用于數據倉庫前端的決策支持系統(tǒng)的分析結果受到影響，從而影響決策支持系統(tǒng)的服務的質量。因此，企業(yè)數據質量管理正在獲得越來越多的關注，數據清洗也正在成為數據倉庫和數據挖掘乃至網絡數據處理的一個重要課題

2、，而相似重復記錄的檢測是完成數據清洗的關鍵。 本文首先對數據清洗的知識進行了全面闡述，介紹了數據清洗的概念、意義和國內外研究現狀，并對數據清洗技術的原理、方法、評價標準以及基本流程進行了分析和總結。在此基礎上，論文詳細討論了相似重復記錄檢測所用到的相關知識和基本算法，對字段匹配和記錄的相似性進行了深入的研究，并針對各步中存在的問題進行了改進，相似重復記錄檢測過程中，應用DBSCAN聚類算法對數據集中的記錄進行聚類，DBSCAN具

3、有聚類快，抗噪聲能力強，能夠發(fā)現任意形狀簇的優(yōu)勢，但在對記錄中的字符型變量轉換為空間中的向量坐標時，用到了字符的ASCⅡ碼，這樣就會把本來不重復的記錄歸為一類，而且該聚類的特點，是根據區(qū)域的連通性來逐漸聚類，所以也會把一些記錄區(qū)別比較大的記錄也聚在同一個類中，在這種情形下采用pair-wise比較算法對聚類之后的每個類中的記錄進行一次記錄比較，以便更加準確的發(fā)現相似重復記錄。 用DBSCAN聚類算法和pair-wise算法(稱為