健康體檢數(shù)據(jù)預(yù)處理方法研究與應(yīng)用.pdf

1、利用醫(yī)療體檢數(shù)據(jù)積累豐富且有價值的信息，可進(jìn)行疾病的風(fēng)險分析及個性化健康指導(dǎo)，預(yù)測受檢者患上某種慢病的風(fēng)險和概率，提醒受檢者及時發(fā)現(xiàn)潛在疾病，為其提供健康指導(dǎo)及疾病治療措施。但原始體檢數(shù)據(jù)存在信息模糊、有噪聲、不完整和冗余的問題，無法直接用于疾病的風(fēng)險評估與預(yù)測，因此對醫(yī)療體檢數(shù)據(jù)進(jìn)行預(yù)處理是很重要的。
　　為了充分完成體檢數(shù)據(jù)的預(yù)處理工作，本文在傳統(tǒng)的預(yù)處理方法的基礎(chǔ)上從多角度提出了針對體檢數(shù)據(jù)預(yù)處理的有效方法：針對信息冗余的問

2、題，提出基于壓縮方法的體檢數(shù)據(jù)歸約，降低了體檢數(shù)據(jù)預(yù)處理的時間及空間復(fù)雜度；針對體檢項目不統(tǒng)一、異常值、重復(fù)值及缺失值較多的問題，提出基于相似重復(fù)記錄和缺失值的體檢數(shù)據(jù)清洗方法，完成了體檢數(shù)據(jù)的清洗，解決了體檢數(shù)據(jù)不一致的問題。通過刪除元組、忽略不完整數(shù)據(jù)及填充技術(shù)完成基于缺失值的數(shù)據(jù)清洗；針對唯一標(biāo)識碼缺失的問題，提出基于線性函數(shù)的體檢數(shù)據(jù)變換，實現(xiàn)了歷年體檢數(shù)據(jù)的連續(xù)性和規(guī)范性。在實現(xiàn)體檢數(shù)據(jù)清洗時創(chuàng)新性的提出基于分詞和權(quán)值的字段匹

3、配算法完成相似重復(fù)記錄的檢測。體檢數(shù)據(jù)預(yù)處理的目的是將不規(guī)范的數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)數(shù)據(jù)，實現(xiàn)醫(yī)生術(shù)語、體檢結(jié)論的標(biāo)準(zhǔn)化，糾正錯誤信息、填補(bǔ)空缺值。
　　實驗結(jié)果證明：基于壓縮方法的體檢數(shù)據(jù)歸約可大大減少體檢數(shù)據(jù)的不相關(guān)及冗余信息；基于分詞和權(quán)值的字段匹配算法在召回率、正確率和F-測度值上分別高于傳統(tǒng)算法6.23％、5.44%和5.84%，說明改進(jìn)算法在檢測相似重復(fù)記錄上的準(zhǔn)確性高于傳統(tǒng)的算法；驗證了經(jīng)過基于線性函數(shù)的體檢數(shù)據(jù)變換成功的給