缺失數(shù)據(jù)的填充方法研究及實證分析.pdf

1、缺失數(shù)據(jù)的存在是試驗研究中經(jīng)常遇到也是比較棘手的一個問題，它不僅干擾估計精度，也影響統(tǒng)計工作人員后續(xù)工作的有效開展.在過去20多年里，有關(guān)缺失值處理方法一直是應(yīng)用統(tǒng)計學(xué)界一個熱點話題，國外對此問題進行了大量研究，但國內(nèi)一般對于缺失值的處理，還僅限于刪除缺失元組或均值填充等簡單常規(guī)處理方法.隨著人們研究問題的高深化和復(fù)雜化，這種簡單常規(guī)處理方法已經(jīng)不能滿足決策需要.
　　 因此，為了有效解決這個問題，本文借助于現(xiàn)代統(tǒng)計手段，介紹了

2、幾種常見處理缺失值問題方法的原理，主要分為三大類，刪除缺失元組，缺失數(shù)據(jù)填充以及不處理.本研究著重從數(shù)據(jù)填充方面著手，詳細討論了均值填充、隨機填充、期望最大化(EM)填充、線性回歸模型填充、多重填充等方法的填充原理以及待估參數(shù)的相關(guān)迭代公式.
　　 同時，以糖尿病人的血糖與血清總膽同醇，甘油三酯，空腹胰島素，糖化血紅蛋白等四個測度變量的關(guān)系作實證分析.為分析比較不同填充方法的填充效果和適用條件，在原始完整數(shù)據(jù)集上構(gòu)造不同級別缺失

3、率的隨機缺失數(shù)據(jù)集，分別采用文中介紹方法對各缺失數(shù)據(jù)集進行處理，并從參數(shù)均值及其標準誤、標準方差、估計值與真值的偏離程度以及樣本分布等方面進行分析比較.此外，以大學(xué)生數(shù)學(xué)建模競賽的論文排序為例，探討了這一類特定高缺失率的數(shù)據(jù)集在各種方法下的填充效果差異，為以后的統(tǒng)計決策提供了思路.
　　 結(jié)果顯示，EM算法和回歸填充算法在不同缺失率下相對都比較穩(wěn)定，低缺失率下分層均值填充占優(yōu)勢，而在中高缺失情形下多重填充發(fā)展空間較大，雖未達到預(yù)