自適應(yīng)加權(quán)KNN文本分類.pdf

1、自動文本分類是自然語言處理中重要組成部分,用于組織和管理大量的文本數(shù)據(jù),被廣泛的應(yīng)用于信息檢索、文檔過濾、詞義辨析等領(lǐng)域。文本分類涉及的主要技術(shù)有特征加權(quán)、特征選擇、維度約簡、文本表示、分類算法等。由于文本分類器在處理高維大數(shù)據(jù)集時時間和空間復(fù)雜度過高,降低文本表示維度和改進分類器設(shè)計是文本分類領(lǐng)域的研究熱點。
　　KNN(K-Nearest Neighbor)算法分類思想簡單、分類效果好,是文本分類領(lǐng)域應(yīng)用最廣泛的分類器之一。但

2、經(jīng)典KNN算法處理較大規(guī)模的文本分類任務(wù)時效率較低、分類速度慢,并且分類過程中關(guān)鍵特征與普通特征作用相同,同時也沒有區(qū)分樣本的作用,容易誤導(dǎo)分類過程。本文針對上述 KNN算法的缺陷,進行了分析和研究,著重進行如下工作內(nèi)容:
　　1)針對KNN算法對高維特征空間分類時間長、精度低等缺點,提出自適應(yīng)特征加權(quán)KNN文本分類算法。首先,以整體精度為優(yōu)化目標函數(shù),對特征歸一化約束加權(quán);其次,采用改進的歸一化約束步長衰減PSO(Particl

3、e Swarm Optimization)算法對特征權(quán)值自適應(yīng)優(yōu)化求解;最后,根據(jù)權(quán)值計算文本相關(guān)性、降低特征空間維度。在復(fù)旦大學(xué)等語料庫上采用十折交叉法進行的實驗結(jié)果表明,改進后的算法既提高分類器精度又降低分類時間。
　　2)通過對KNN算法分類過程的研究可知,提高算法效率的關(guān)鍵是減少相似度計算量,從而提出自適應(yīng)樣本加權(quán)KNN文本分類算法。算法先使用改進的PSO算法對樣本權(quán)值自適應(yīng)求解;再通過樣本權(quán)值縮減樣本數(shù)量,降低相似計算量

4、;最后在 KNN算法的判別函數(shù)中加入樣本權(quán)值,解決 KNN算法對樣本庫容量敏感問題。該算法在TanCorpMin語料庫上得到較好的效果。
　　3)為改進KNN算法在高維特征空間和大數(shù)據(jù)集上的分類性能,提出融合上述兩種改進的自適應(yīng)加權(quán)KNN文本分類算法。算法首先對特征加權(quán),降低特征空間的維度,更新特征詞庫,重新向量化樣本庫;其次,對樣本加權(quán),約簡樣本;最后,使用加權(quán)的判別函數(shù)對文本分類。通過實驗表明融合后的算法有效降低了分類的時間復(fù)