面向失衡數(shù)據(jù)集的數(shù)據(jù)缺失問題研究.pdf

1、失衡數(shù)據(jù)集是數(shù)據(jù)挖掘領(lǐng)域中廣泛存在數(shù)據(jù)狀態(tài)，由于不同類別的數(shù)據(jù)樣本數(shù)量差異懸殊而使得正常的分類算法效果不明顯。在數(shù)據(jù)挖掘領(lǐng)域中還有一個不可避免的問題就是數(shù)據(jù)缺失，即數(shù)據(jù)集在收集或者保存時由于環(huán)境等因素而產(chǎn)生的數(shù)據(jù)值缺失或者屬性缺失，造成的結(jié)果可能是丟失數(shù)據(jù)信息所要表達的知識。數(shù)據(jù)集的失衡和缺失給數(shù)據(jù)分析以及知識發(fā)現(xiàn)帶來了困難，因此對此類數(shù)據(jù)集的研究已經(jīng)受到了越來越多的關(guān)注。隨著計算機技術(shù)突飛猛進的發(fā)展，基于數(shù)據(jù)挖掘與機器學習的分類問題成

2、為企業(yè)及組織快速決策、準確判斷和有效輔助的方法，而數(shù)據(jù)缺失的失衡數(shù)據(jù)集普遍的存在于計算機科學、生物信息學、經(jīng)濟學等可利用的領(lǐng)域中，對于失衡問題人們常常關(guān)心的是少數(shù)類的情況，對于數(shù)據(jù)缺失則常常關(guān)心的是缺失的有用信息，因而對這類數(shù)據(jù)集的解決就特別的重要。
　　本文先描述了失衡數(shù)據(jù)集以及數(shù)據(jù)缺失的問題，總結(jié)了國內(nèi)外專家對此類數(shù)據(jù)集的成果，論述了數(shù)據(jù)缺失的失衡數(shù)據(jù)集對分類的影響、常用的處理辦法以及分類器的性能評價標準，詳細地介紹了數(shù)據(jù)值缺

3、失和屬性缺失。在最大限度的利用數(shù)據(jù)集中已存在數(shù)據(jù)的基礎(chǔ)上，提出了采用基于密度聚類與灰色管理分析技術(shù)相結(jié)合的數(shù)據(jù)值填補策略，同時運用遷移學習的方法對數(shù)據(jù)集中屬性缺失進行解決，利用譜特征排列算法對屬性進行增強，并結(jié)合利用密度聚類的簇邊界采樣，處理數(shù)據(jù)集中樣本不平衡，將支持向量機作為分類模型，對經(jīng)過上述步驟的數(shù)據(jù)集分類。最后，將數(shù)據(jù)缺失的失衡數(shù)據(jù)集處理問題應用到基于數(shù)據(jù)挖掘的輔助醫(yī)療診斷中，并且利用真實的醫(yī)學數(shù)據(jù)驗證了本文提出的方法可以獲得較