不完全數(shù)據(jù)中缺失值填充關(guān)鍵技術(shù)研究.pdf

1、無論在研究領(lǐng)域還是工程領(lǐng)域,缺失數(shù)據(jù)都是一個不能忽視的嚴重問題。尤其隨著數(shù)據(jù)收集工作從人工轉(zhuǎn)向機器,數(shù)據(jù)量的急速膨脹使得各種數(shù)據(jù)質(zhì)量問題混雜其中,其中數(shù)據(jù)缺失更是難以避免。不正確的度量方法、收集條件的限制、手動錄入時出現(xiàn)遺漏或者數(shù)據(jù)違反約束等問題都可能導(dǎo)致數(shù)據(jù)庫中的大量“空值”。美國Honeywell公司用于設(shè)備維護和測試的數(shù)據(jù)庫中缺失值比例高達50％以上。這并不稀奇,在醫(yī)藥領(lǐng)域由于其不規(guī)范的數(shù)據(jù)收集方法,數(shù)據(jù)丟失率更能達到60%以上。

2、
　　這些缺失值不僅意味著信息空白,更重要的是它會影響后續(xù)數(shù)據(jù)挖掘和統(tǒng)計分析等工作的進行。一般對缺失值處理的方法包括刪除不完整記錄、當(dāng)作特殊值處理或者插補空值。顯然,插補的方法不管從量上還是質(zhì)上,對數(shù)據(jù)的處理結(jié)果都要好于前兩種。目前國內(nèi)外已提出了很多有關(guān)缺失值填充的方法。盡管這些方法在各自的應(yīng)用環(huán)境下都得到了很好的效果,但仍然存在一些不足。比如,一些模型像決策樹需要指定類屬性與條件屬性,這樣的模型每處理一個屬性就要訓(xùn)練一次模型,效

3、率很低。其次,很多算法對高維數(shù)據(jù)的處理能力有限,引入無用的變量不僅影響執(zhí)行效率,而且會干擾最終填充效果。第三、在沒有真值作為對比的情況下,無法評價不同屬性的填充效果。最后,很多算法只適用于小數(shù)據(jù)集,遠遠無法滿足目前對大量數(shù)據(jù)的處理要求。為解決上述問題,本文給出了一個基于貝葉斯網(wǎng)和概率推理的填充方法。與常用的貝葉斯網(wǎng)構(gòu)建算法不同,本文針對缺失值填充這一特定的應(yīng)用前提,從挖掘?qū)傩韵嚓P(guān)性入手構(gòu)建網(wǎng)絡(luò)。建立貝葉斯網(wǎng)時不設(shè)定任何目標屬性,由影響最

4、大的屬性作為根。這一過程不需要用戶對數(shù)據(jù)有太多了解,完全由算法自動完成。根據(jù)貝葉斯網(wǎng)自身的條件獨立性假設(shè)可以分解對多維聯(lián)合概率的求解,降低在處理高維數(shù)據(jù)時的復(fù)雜度。填充值根據(jù)概率推理結(jié)果得到。推理產(chǎn)生的概率信息能夠反映填充值的不確定程度,即概率越小,準確率越低,反之,準確率越高。這就為評價填充質(zhì)量提供了一個參考。為使算法適用于混合屬性集,本文在貝葉斯網(wǎng)中加入了對連續(xù)屬性的處理,所有屬性的填充均在一個模型下完成。針對大數(shù)據(jù)集,應(yīng)用并行技術(shù)