數(shù)據(jù)預(yù)處理中數(shù)據(jù)缺失填補算法的研究與應(yīng)用.pdf

1、隨著技術(shù)的發(fā)展與科學(xué)的進步,數(shù)據(jù)量的飛速增長已成為一個不容忽視的問題,面臨堆積如山的數(shù)據(jù),想要獲取有用的信息與知識并非易事。因此數(shù)據(jù)挖掘技術(shù)伴隨著人們的需求與科技的進步獲得快速發(fā)展。然而在實際應(yīng)用時,缺失數(shù)據(jù)的出現(xiàn)對所有數(shù)據(jù)分析技術(shù)包括數(shù)據(jù)挖掘都是一個普遍存在卻富于挑戰(zhàn)性的問題。
　　 缺失數(shù)據(jù)的產(chǎn)生因為多種多樣,有主觀上人為的也有客觀上的難以獲取。它們廣泛存在于現(xiàn)實的數(shù)據(jù)集中,對數(shù)據(jù)分析產(chǎn)生嚴(yán)重影響:首先,系統(tǒng)丟失了大量的有用

2、信息,明顯削弱了信息與統(tǒng)計的能力;其次,增強了系統(tǒng)的不確定性,使得正常的數(shù)據(jù)分析方法不適用或難于應(yīng)用；最后,包含缺值的數(shù)據(jù)還會使挖掘過程陷人混亂,導(dǎo)致不可靠的輸出。因此如何正確處理這些缺失數(shù)據(jù)成為數(shù)據(jù)預(yù)處理過程中核心問題之一。
　　 缺失填補技術(shù)無論是在技術(shù)還是理論上都得到了空前的重視,國際上已有大量專家及研究機構(gòu)對些問題進行深入研究。本文首先論述了缺失數(shù)據(jù)填補的意義及研究現(xiàn)狀,通過分析近年來出現(xiàn)的缺失填補策略,將其分成基于分類

3、、聚類、關(guān)聯(lián)的三種填補思想,在此基礎(chǔ)上提出一種新的缺失填補算法。通過對當(dāng)前幾個開源挖掘工具預(yù)處理模塊的研究,設(shè)計了一個處理缺失數(shù)據(jù)集的預(yù)處理模型,并通過研究基于分類思想及關(guān)聯(lián)思想的填補策略,對設(shè)計應(yīng)用于模型中新的缺失填補法,規(guī)則近鄰法進行詳細(xì)設(shè)計實現(xiàn),通過實驗對其填補的有效性,準(zhǔn)確率進行驗證。
　　 實驗用5折交叉驗證法證明算法的有效性；并通過與KNN填補算法進行對比證明該算法在填補準(zhǔn)確率上的優(yōu)越性；通過增加缺失比例及改變提取規(guī)