缺失數(shù)據(jù)的填充方法研究及實(shí)證分析.pdf

1、缺失數(shù)據(jù)的存在是試驗(yàn)研究中經(jīng)常遇到也是比較棘手的一個(gè)問(wèn)題，它不僅干擾估計(jì)精度，也影響統(tǒng)計(jì)工作人員后續(xù)工作的有效開(kāi)展.在過(guò)去20多年里，有關(guān)缺失值處理方法一直是應(yīng)用統(tǒng)計(jì)學(xué)界一個(gè)熱點(diǎn)話題，國(guó)外對(duì)此問(wèn)題進(jìn)行了大量研究，但國(guó)內(nèi)一般對(duì)于缺失值的處理，還僅限于刪除缺失元組或均值填充等簡(jiǎn)單常規(guī)處理方法.隨著人們研究問(wèn)題的高深化和復(fù)雜化，這種簡(jiǎn)單常規(guī)處理方法已經(jīng)不能滿足決策需要.
　　 因此，為了有效解決這個(gè)問(wèn)題，本文借助于現(xiàn)代統(tǒng)計(jì)手段，介紹了

2、幾種常見(jiàn)處理缺失值問(wèn)題方法的原理，主要分為三大類，刪除缺失元組，缺失數(shù)據(jù)填充以及不處理.本研究著重從數(shù)據(jù)填充方面著手，詳細(xì)討論了均值填充、隨機(jī)填充、期望最大化(EM)填充、線性回歸模型填充、多重填充等方法的填充原理以及待估參數(shù)的相關(guān)迭代公式.
　　 同時(shí)，以糖尿病人的血糖與血清總膽同醇，甘油三酯，空腹胰島素，糖化血紅蛋白等四個(gè)測(cè)度變量的關(guān)系作實(shí)證分析.為分析比較不同填充方法的填充效果和適用條件，在原始完整數(shù)據(jù)集上構(gòu)造不同級(jí)別缺失

3、率的隨機(jī)缺失數(shù)據(jù)集，分別采用文中介紹方法對(duì)各缺失數(shù)據(jù)集進(jìn)行處理，并從參數(shù)均值及其標(biāo)準(zhǔn)誤、標(biāo)準(zhǔn)方差、估計(jì)值與真值的偏離程度以及樣本分布等方面進(jìn)行分析比較.此外，以大學(xué)生數(shù)學(xué)建模競(jìng)賽的論文排序?yàn)槔?，探討了這一類特定高缺失率的數(shù)據(jù)集在各種方法下的填充效果差異，為以后的統(tǒng)計(jì)決策提供了思路.
　　 結(jié)果顯示，EM算法和回歸填充算法在不同缺失率下相對(duì)都比較穩(wěn)定，低缺失率下分層均值填充占優(yōu)勢(shì)，而在中高缺失情形下多重填充發(fā)展空間較大，雖未達(dá)到預(yù)