數(shù)據(jù)清洗算法的研究與應用.pdf

1、 隨著信息技術的飛速發(fā)展，組織的管理人員進行決策分析時對數(shù)據(jù)的依賴性越來越強。于是在數(shù)據(jù)庫的基礎上產生了能夠滿足決策分析所需要的數(shù)據(jù)環(huán)境—數(shù)據(jù)倉庫。但是在構建數(shù)據(jù)倉庫的過程中，從異構的數(shù)據(jù)源中導入的數(shù)據(jù)中存在各種質量問題，使得應用于數(shù)據(jù)倉庫前端的決策支持系統(tǒng)產生錯誤的分析結果，影響信息服務的質量。所以必須對其進行數(shù)據(jù)清洗來提高其質量。數(shù)據(jù)清洗正在成為數(shù)據(jù)倉庫和數(shù)據(jù)挖掘領域，乃至網絡數(shù)據(jù)處理的一個重要課題。 本文首先對數(shù)

2、據(jù)清洗的知識進行了全面和詳細的描述，介紹了數(shù)據(jù)清洗的概念、意義和國內外研究與應用的現(xiàn)狀。對數(shù)據(jù)清洗技術的原理、方法、評價標準以及基本流程進行了分析和總結。其中重點對屬性清洗及重復記錄清洗所用到的技術和各種算法進行了深入的研究，并提出了相應的改進算法。在屬性清洗中，簡單介紹了屬性清洗的基本知識和方法，重點研究了如何應用統(tǒng)計分析和人工智能的技術自動檢測數(shù)據(jù)集中屬性值的錯誤，并給出了在數(shù)據(jù)集上的實驗結果及結論。在重復記錄清洗中，首先介紹了重復