面向高維屬性失衡數(shù)據(jù)挖掘重采樣技術(shù)研究.pdf

1、數(shù)據(jù)挖掘領(lǐng)域中普遍存在失衡的數(shù)據(jù)形態(tài)，它是指數(shù)據(jù)集中分屬不同類(lèi)別的樣本間在數(shù)量級(jí)上存在著較大差距，由于數(shù)量差距懸殊而使得正常的分類(lèi)算法效果不明顯。在數(shù)據(jù)挖掘領(lǐng)域中還存在一個(gè)不可避免的問(wèn)題就是數(shù)據(jù)屬性高維，即數(shù)據(jù)集在收集或者處理當(dāng)中造成的數(shù)據(jù)屬性維度過(guò)高，導(dǎo)致大量冗余的屬性反而表達(dá)了少量的信息，為數(shù)據(jù)挖掘帶來(lái)不便。數(shù)據(jù)集的失衡和高維給數(shù)據(jù)分析以及知識(shí)發(fā)現(xiàn)帶來(lái)了困難，因此對(duì)此類(lèi)數(shù)據(jù)集的研究已經(jīng)受到了越來(lái)越多的關(guān)注。隨著計(jì)算機(jī)技術(shù)的快速發(fā)展與

2、進(jìn)步，基于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)的分類(lèi)問(wèn)題成為企業(yè)及組織快速?zèng)Q策、準(zhǔn)確判斷和有效輔助的方法，而高維的失衡數(shù)據(jù)集廣泛的存在于計(jì)算機(jī)科學(xué)、生物信息學(xué)、經(jīng)濟(jì)學(xué)等應(yīng)用領(lǐng)域中，對(duì)于失衡問(wèn)題人們常常關(guān)心的是少數(shù)類(lèi)的情況，對(duì)于高維屬性則常常關(guān)心的是大量屬性存儲(chǔ)的少量信息干擾機(jī)器學(xué)習(xí)，因此對(duì)這類(lèi)數(shù)據(jù)集的處理就顯得尤為重要。
　　本文首先引入了失衡數(shù)據(jù)集以及高維屬性兩種數(shù)據(jù)狀態(tài)，通過(guò)整理國(guó)內(nèi)外對(duì)此類(lèi)數(shù)據(jù)集的研究進(jìn)展，闡述高維失衡數(shù)據(jù)集對(duì)數(shù)據(jù)挖掘的影響，

3、常用的處理方法以及失衡數(shù)據(jù)集的分類(lèi)效果評(píng)估方法。重點(diǎn)分析了一種基于DBSCAN算法的簇邊界重采樣方法結(jié)合支持向量機(jī)的策略，它能夠有效解決單純的數(shù)據(jù)失衡問(wèn)題，但當(dāng)此方法面臨高維失衡數(shù)據(jù)的時(shí)候策略的優(yōu)勢(shì)不能有效發(fā)揮。針對(duì)此問(wèn)題提出將基于信號(hào)噪聲比的降維方法與該策略融合以解決高維失衡問(wèn)題。另外，分析了SOM算法以及數(shù)據(jù)生成采樣方法，以及兩種思想相結(jié)合的優(yōu)勢(shì)，設(shè)計(jì)出一種基于SOM算法的采樣方法以解決數(shù)據(jù)失衡問(wèn)題，并提出基于Relief與SOM的