不同缺失值處理技術(shù)的模擬比較.pdf

1、目的：在艾滋病中醫(yī)證候研究領(lǐng)域,數(shù)據(jù)缺失現(xiàn)象普遍存在。數(shù)據(jù)缺失會增加分析的復雜性,造成結(jié)果偏倚等一系列的問題。探索適合該數(shù)據(jù)庫的缺失值填充方法是進行數(shù)據(jù)分析前迫切需要解決的問題。本研究以中醫(yī)證侯現(xiàn)場調(diào)查數(shù)據(jù)為基礎(chǔ),通過數(shù)據(jù)模擬技術(shù),比較不同的處理方法的優(yōu)劣,探討各自適用性,確定MI法的最佳填補次數(shù),探索不同的缺失模式和缺失機制下,最為準確、高效、方便的處理方法。
　　 方法：利用SAS9.1,模擬出完整數(shù)據(jù)集和不同缺失率的數(shù)據(jù)集

2、,對于完全隨機缺失和隨機缺失的連續(xù)變量,采用期望最大化法(expectation maximization,EM)、回歸法、均值填補法、成組刪除法、多重填補法(multiple imputation,MI)進行填補,比較不同方法處理后的精確度、準確度以及均值。二分類變量,采用成組刪除法和MI中的logistic回歸進行填補,比較不同方法處理后的回歸系數(shù)以及標準誤。
　　 結(jié)果：⑴連續(xù)變量:本資料的數(shù)據(jù)均為任意缺失模式,隨著填充次

3、數(shù)的增加,填充效率逐漸增加,在MI填充10次時填充效率均達到0.95以上。精確度也伴隨著填充次數(shù)的增加而逐漸增加,填充10次后精確度最高。關(guān)于準確度,缺失20％以下時。只需較少的填充次數(shù)(3-5次),就能達到較高的準確度:缺失率30-40%時,MI填充10次的準確度相對較高;缺失50%以上時,準確度不穩(wěn)定。⑵完全隨機缺失機制:缺失10%以下時,任何一種方法處理后,都與完整數(shù)據(jù)集均值一致,MI法的精確度和準確度最高。缺失20%以上時,采用

4、成組刪除法和MI法效果優(yōu)于其他方法,MI法的精確度高,成組刪除法的準確度高。⑶隨機缺失機制:缺失較少時(10%-20%),采用MI法準確度、精確度高于其他方法。缺失30%時,采用成組刪除法處理后的準確度高,但是精確度較差。缺失較多(缺失率＞40%)時,所有方法填充效果均不佳。⑷二分類變量,缺失較少(缺失率＜40%)時,采用成組刪除法簡單易行、準確、高效,而MI法程序比較復雜,需占用較大內(nèi)存和時間進行反復填補,且結(jié)果不如成組刪除法。缺失4