基于樣本重要性原理的KNN文本分類算法.pdf

1、隨著信息技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)中的信息量正在迅猛增長。KNN分類技術(shù)對于組織和管理龐大而又雜亂無章的互聯(lián)網(wǎng)數(shù)據(jù)，是一種非常有效地手段。傳統(tǒng)的KNN分類方法通過尋找與待分類樣本最近的K個近鄰樣本點，決策出待分類樣本的類別。但是，該方法將所有樣本等權(quán)重對待，而忽略了不同樣本對于分類的貢獻度問題。
　　在許多問題中，不同樣本點對于分類的作用是不一樣的。例如：在SVM分類方法中，最優(yōu)分離超平面的確定僅與支持向量有關(guān)，即類邊界樣本點。集成學

2、習中，每次循環(huán)過程通過加強被錯分樣本的權(quán)重使得學習到的分類器更加關(guān)注被錯分的樣本。因此，不同樣本在分類過程中應該被賦予不同的權(quán)重?；谶@個思想，本文提出了一種樣本重要性原理的加權(quán)方法。首先，在訓練集上建立異類樣本點之間的權(quán)重關(guān)系，權(quán)重的大小通過樣本點之間的歐幾里得距離表示；然后，根據(jù)樣本間的權(quán)重關(guān)系可以得出樣本點之間的轉(zhuǎn)移概率，樣本點之間的轉(zhuǎn)移只能在異類的近鄰樣本之間進行；最后，根據(jù)隨機游走算法，可以計算出所有樣本點的邊界值得分，邊界值

3、得分體現(xiàn)了樣本點與分類邊界的距離。得分越高，距離越遠；得分越低，距離越近。距離分類邊界越近的樣本對于類別的表示能力應該更差，所以，利用邊界值得分可以得出樣本的重要性得分。樣本的邊界值得分越高，重要性得分就越低。最終，我們形成了一種基于樣本重要性原理的加權(quán)方法。
　　眾所周知，KNN方法在不均衡數(shù)據(jù)中容易偏向大類，然而對樣本點進行加權(quán)的方法就是常用的解決之道。為了驗證樣本重要性原理的加權(quán)方法的有效性，本文將其與KNN方法結(jié)合形成了基