可適應(yīng)不良數(shù)據(jù)的數(shù)據(jù)分類若干方法研究.pdf

1、在對數(shù)據(jù)進行分類時，數(shù)據(jù)本身所具有的某些不良特點，如噪聲影響、簇間密度變差顯著、類間不平衡和特征維方差各不相同等問題都會影響分類效果。因此，研究適應(yīng)不良數(shù)據(jù)特點的分類算法，具有重要的理論和應(yīng)用價值。目前，雖然有DBSCAN,Trimmed k-means等算法也能處理一些不良特點的數(shù)據(jù)，但是渴求一種通用的處理所有不良類型數(shù)據(jù)的分類算法是不現(xiàn)實的，根據(jù)數(shù)據(jù)的特點研究一些有針對性的抗干擾算法逐漸形成一種共識。
　　本文受分子動力學(xué)原理

2、的啟發(fā)，在數(shù)據(jù)點之間引入引力和斥力的相互作用機制，并結(jié)合數(shù)據(jù)點在原始特征空間和迭代空間的距離、簇密度差和近鄰性等信息，提出了仿分子動力學(xué)數(shù)據(jù)聚類法;同樣考慮近鄰性和特征維方差等因素提出了橢球-平面分類法，并改進了基于核密度估計的數(shù)據(jù)分類算法。新的聚類方法除是對帶噪聲、簇間密度變差明顯的數(shù)據(jù)具有好的適應(yīng)力外，不需要預(yù)先設(shè)置簇個數(shù)，可自動發(fā)現(xiàn)數(shù)據(jù)中可能包含的簇，并解決了引力模型中的黑洞問題。
　　基于核密度估計的數(shù)據(jù)分類法是實際應(yīng)用中

3、的常見分類法，它在處理不平衡類時可能出現(xiàn)諸如少數(shù)類的數(shù)據(jù)點錯分到多數(shù)類的問題。為了使該方法可處理不平衡類帶來的影響，并在不平衡類問題嚴(yán)重時也能發(fā)揮好的效果，本文對其進行了改進，在基于核密度估計的數(shù)據(jù)分類法中引入具有較小搜索區(qū)間的平滑因子,增強了其對不平衡類的適應(yīng)力。實驗表明這種改進是有效的,它提高了原方法對不平衡類的適應(yīng)力。
　　事實上，像基于核密度估計一類的分類方法在預(yù)測階段由于可能涉及整個樣本集的計算，當(dāng)數(shù)據(jù)集規(guī)模較大時其預(yù)測

4、開銷可能會很大。為了達到減小預(yù)測開銷，同時又使模型兼?zhèn)浒瑪?shù)據(jù)在特征維上方差信息的特點，本文提出了一種新的橢球-平面分類法，它是一個兩階段的監(jiān)督型分類方法。該方法利用橢球面和平面分類參考面進行分類，由于分類時待測點只需與相應(yīng)的參考面進行計算，使其時間開銷小于基于距離的 k最近鄰點方法和基于核密度估計一類的方法，并且強化了鄰近性原則。
　　以上算法除理論分析外，基于標(biāo)準(zhǔn)數(shù)據(jù)集都與其他現(xiàn)有方法進行了對比試驗，確認(rèn)了理論推導(dǎo)的正確性，為