加權(quán)K-NN算法及其應(yīng)用.pdf

1、K-NN(K-NearestNeighbor)分類算法的結(jié)果依賴于距離度量的選取。傳統(tǒng)的K-近鄰算法選擇的相似性度量通常是歐幾里德距離的倒數(shù)，這種距離通常涉及所有的特征。在距離公式中引入一些特征權(quán)參數(shù)后，其分類結(jié)果將依賴于這些權(quán)值，從而可以通過(guò)調(diào)整這些權(quán)值來(lái)優(yōu)化分類效果。本文提出了一種學(xué)習(xí)權(quán)值算法以改進(jìn)分類準(zhǔn)確率。從數(shù)學(xué)意義上講，這種權(quán)值學(xué)習(xí)相當(dāng)于歐氏空間中對(duì)一組點(diǎn)進(jìn)行了一個(gè)線性變換。同時(shí)，不同近鄰樣本本身的權(quán)重影響不同，則直接改變測(cè)試

2、樣本的最終類別。我們不僅對(duì)每個(gè)屬性學(xué)習(xí)權(quán)值，而且可以對(duì)每一個(gè)測(cè)試樣本點(diǎn)的近鄰基于它們到測(cè)試點(diǎn)的距離進(jìn)行加權(quán)，使得那些距離較近的近鄰獲得的權(quán)值較高，從而提高了K-NN算法分類準(zhǔn)確性。 針對(duì)K-近鄰算法中K值的學(xué)習(xí)，本文總結(jié)了一種聚類有效性函數(shù)，數(shù)值實(shí)驗(yàn)證實(shí)了其有效性，旨在指導(dǎo)應(yīng)用于K-近鄰分類中；然后還將“擴(kuò)張能力”的概念引入K-近鄰算法，根據(jù)訓(xùn)練集例子不同的覆蓋能力，刪除冗余樣本，得到數(shù)量較小同時(shí)代表類別情況又比較完全的新的訓(xùn)練