K-近鄰、K-均值及其在文本分類中的應(yīng)用.pdf

1、K-均值(K-means)算法聚類的結(jié)果依賴于距離度量的選取。傳統(tǒng)的K-均值算法選擇的相似性度量通常是歐幾里德距離的倒數(shù)，這種距離通常涉及所有的特征。在距離公式中引入一些特征權(quán)參數(shù)后，其聚類結(jié)果將依賴于這些權(quán)值，從而可以通過調(diào)整這些權(quán)值來優(yōu)化聚類效果。由于K-均值算法是迭代算法，很難直接確定其權(quán)值以優(yōu)化聚類結(jié)果，因此提出了一種間接的學(xué)習(xí)權(quán)值算法以改進(jìn)聚類結(jié)果。從數(shù)學(xué)意義上講，這種權(quán)值學(xué)習(xí)相當(dāng)于歐氏空間中對一組點(diǎn)進(jìn)行了一個線性變換。

2、 針對K值的學(xué)習(xí)，本文初步使用了遺傳算法選擇較優(yōu)的K值，同時總結(jié)了一種聚類有效性函數(shù)，數(shù)值實(shí)驗證實(shí)了其有效性，旨在指導(dǎo)應(yīng)用于K-近鄰分類中；然后還將“擴(kuò)張能力”的概念引入K-近鄰算法，根據(jù)訓(xùn)練集例子不同的覆蓋能力，刪除冗余樣本，得到數(shù)量較小同時代表類別情況又比較完全的新的訓(xùn)練集，從而降低查找近鄰復(fù)雜性。 基于以上的研究思想，本文提出了近鄰算法在文本分類中的應(yīng)用，對英文數(shù)據(jù)庫Reuters-21578實(shí)現(xiàn)了分詞以及分類的過程，并