面向失衡數(shù)據(jù)的稀疏性問題的研究.pdf

1、面向失衡數(shù)據(jù)的稀疏性問題是數(shù)據(jù)挖掘領域中的研究難點之一。近年來，隨著全球信息科技的飛速發(fā)展和計算機技術的不斷提高，數(shù)據(jù)挖掘系統(tǒng)已經成功運用到醫(yī)學、電信、金融、工業(yè)生產等領域。然而，現(xiàn)實應用中普遍存在著稀疏失衡數(shù)據(jù)集，這種數(shù)據(jù)集同時具有稀疏性和失衡性的特征，即數(shù)據(jù)集在宏觀上存在類別的不平衡性，大量數(shù)據(jù)中只有很小的一類數(shù)據(jù)是人們需要的，通常很難被識別和準確分類；在微觀上數(shù)據(jù)集中存在大量數(shù)據(jù)值缺失，這種缺失一般是由于數(shù)據(jù)采集過程中的各種因素所

2、造成的，如果在預處理階段沒有采取有效的缺失值處理措施，將會對接下來的數(shù)據(jù)分類，尤其對失衡數(shù)據(jù)的分類造成很大影響?；跀?shù)據(jù)挖掘的應用系統(tǒng)在利用大量歷史數(shù)據(jù)獲取有用知識的同時，由于數(shù)據(jù)稀疏性和失衡性問題而導致系統(tǒng)的挖掘的精度和執(zhí)行效率大大降低。因此，如何在失衡數(shù)據(jù)分類過程中更好地解決稀疏性問題引起廣大學者以及研究人員的重視和深入研究。
　　本文介紹了解決數(shù)據(jù)稀疏性問題和解決數(shù)據(jù)失衡性問題的研究現(xiàn)狀，并對數(shù)據(jù)失衡和稀疏問題進行了深入探討

3、，闡述了數(shù)據(jù)稀疏性和失衡性問題的根本原因，以及目前所采用的解決辦法。針對稀疏失衡數(shù)據(jù)集，考慮到其形態(tài)的復雜性，從數(shù)據(jù)集的稀疏性和失衡性兩方面因素所導致的問題出發(fā)提出了完整的解決方案。在失衡數(shù)據(jù)集的預處理階段采用基于稀疏數(shù)據(jù)聚類的方法對數(shù)據(jù)集進行缺失值填充：首先提出了基于聚類協(xié)同過濾算法的單層填充方法對含有缺失值的數(shù)據(jù)集進行一次性填充；其次針對單層填充方法的不足進行改進，提出了遞歸增量式聚類填充方法，通過對比填充值和真實值的誤差，驗證了遞