數(shù)據(jù)清洗算法的研究與應(yīng)用.pdf

1、 隨著信息技術(shù)的飛速發(fā)展，組織的管理人員進(jìn)行決策分析時(shí)對(duì)數(shù)據(jù)的依賴性越來(lái)越強(qiáng)。于是在數(shù)據(jù)庫(kù)的基礎(chǔ)上產(chǎn)生了能夠滿足決策分析所需要的數(shù)據(jù)環(huán)境—數(shù)據(jù)倉(cāng)庫(kù)。但是在構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程中，從異構(gòu)的數(shù)據(jù)源中導(dǎo)入的數(shù)據(jù)中存在各種質(zhì)量問(wèn)題，使得應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)前端的決策支持系統(tǒng)產(chǎn)生錯(cuò)誤的分析結(jié)果，影響信息服務(wù)的質(zhì)量。所以必須對(duì)其進(jìn)行數(shù)據(jù)清洗來(lái)提高其質(zhì)量。數(shù)據(jù)清洗正在成為數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘領(lǐng)域，乃至網(wǎng)絡(luò)數(shù)據(jù)處理的一個(gè)重要課題。 本文首先對(duì)數(shù)

2、據(jù)清洗的知識(shí)進(jìn)行了全面和詳細(xì)的描述，介紹了數(shù)據(jù)清洗的概念、意義和國(guó)內(nèi)外研究與應(yīng)用的現(xiàn)狀。對(duì)數(shù)據(jù)清洗技術(shù)的原理、方法、評(píng)價(jià)標(biāo)準(zhǔn)以及基本流程進(jìn)行了分析和總結(jié)。其中重點(diǎn)對(duì)屬性清洗及重復(fù)記錄清洗所用到的技術(shù)和各種算法進(jìn)行了深入的研究，并提出了相應(yīng)的改進(jìn)算法。在屬性清洗中，簡(jiǎn)單介紹了屬性清洗的基本知識(shí)和方法，重點(diǎn)研究了如何應(yīng)用統(tǒng)計(jì)分析和人工智能的技術(shù)自動(dòng)檢測(cè)數(shù)據(jù)集中屬性值的錯(cuò)誤，并給出了在數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果及結(jié)論。在重復(fù)記錄清洗中，首先介紹了重復(fù)