數(shù)據(jù)預(yù)處理算法的研究與應(yīng)用.pdf

1、隨著信息時代的來臨，人類在各種領(lǐng)域中面臨著越來越多的數(shù)據(jù)信息，與此同時，這些數(shù)據(jù)的規(guī)模還在以驚人的速度不斷增長。因此，為了提高工作效率和生活質(zhì)量，人們必須獲取蘊(yùn)藏在這些數(shù)據(jù)中的有價值信息。為了達(dá)到這個目的，人們開始致力于從數(shù)據(jù)庫中挖掘知識的研究。然而，眾所周知，數(shù)據(jù)庫中往往存在冗余數(shù)據(jù)、缺失數(shù)據(jù)、不確定數(shù)據(jù)和不一致數(shù)據(jù)等諸多情況，這些數(shù)據(jù)成了發(fā)現(xiàn)知識的一大障礙。因此，在從數(shù)據(jù)庫中挖掘知識之前必須對數(shù)據(jù)進(jìn)行預(yù)處理。 本論文著重研究

2、數(shù)據(jù)挖掘中的數(shù)據(jù)預(yù)處理技術(shù)，尤其是數(shù)據(jù)清洗技術(shù)，并實(shí)現(xiàn)了數(shù)據(jù)挖掘試驗平臺(DataMiningLaboratory,DMLab)的數(shù)據(jù)預(yù)處理模塊的功能。 首先對數(shù)據(jù)預(yù)處理知識做了全面和詳細(xì)的描述，介紹了數(shù)據(jù)預(yù)處理的研究背景、定義和主要的預(yù)處理技術(shù)研究現(xiàn)狀等。然后對現(xiàn)有的數(shù)據(jù)預(yù)處理技術(shù)進(jìn)行了深入的分析，涉及到數(shù)據(jù)清洗、數(shù)據(jù)選樣、數(shù)據(jù)變換和數(shù)據(jù)歸約等技術(shù)。之后重點(diǎn)對缺失值填充技術(shù)及各種填充算法進(jìn)行了深入地研究和探討，并提出了基于聚類

3、技術(shù)的缺失值填充法。最后，在前面討論的各種技術(shù)的基礎(chǔ)上，實(shí)現(xiàn)了數(shù)據(jù)挖掘試驗平臺的數(shù)據(jù)預(yù)處理模塊功能，主要包括數(shù)據(jù)清洗、數(shù)據(jù)選樣、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)歸約等功能。 在對數(shù)據(jù)預(yù)處理技術(shù)進(jìn)行的研究中，著重介紹了缺失值清洗的基本知識和方法，并探討了當(dāng)前缺失值清洗技術(shù)，客觀地評價了它們的優(yōu)缺點(diǎn)。本文對目前廣泛應(yīng)用的各種數(shù)據(jù)預(yù)處理技術(shù)進(jìn)行了深入的研究，并在此基礎(chǔ)上完成了DMLab系統(tǒng)中數(shù)據(jù)預(yù)處理模塊的設(shè)計和實(shí)現(xiàn)，既根據(jù)系統(tǒng)需要實(shí)現(xiàn)了部分基礎(chǔ)的預(yù)處