基于KNN的中文文本分類算法研究.pdf

1、隨著因特網(wǎng)的快速發(fā)展，人們可以從網(wǎng)絡(luò)上獲取越來越多諸如文本、圖片、聲音等形式的信息，而半結(jié)構(gòu)化或無結(jié)構(gòu)化的文本信息則是占據(jù)了大多數(shù)，如何利用文本分類技術(shù)對(duì)這些信息進(jìn)行分門別類的管理是非常重要的。文本分類技術(shù)在較大程度上解決了信息雜亂的問題，而且它已成為信息過濾、搜索引擎等領(lǐng)域的基礎(chǔ)，所以，對(duì)文本分類的研究有著重要的意義。
　　 本文介紹了中文文本分類所涉及到的相關(guān)理論，如：向量空間模型、中文分詞、特征選擇、分類方法、評(píng)價(jià)指標(biāo)、權(quán)

2、重計(jì)算方法以及相似度計(jì)算方法。
　　 通過對(duì)TFIDF詳細(xì)的分析研究，針對(duì)它只考慮特征項(xiàng)的詞頻以及在整個(gè)訓(xùn)練文本集上的分布這一不足，提出了在原公式中增加表示特征項(xiàng)在各個(gè)類的分布情況，以及在類內(nèi)各個(gè)文本間分布情況的改進(jìn)方案。
　　 在對(duì)K近鄰分類方法深入分析的基礎(chǔ)上，針對(duì)該方法在計(jì)算文本相似度時(shí)存在的不足，提出了改進(jìn)方案。新的方案引入了中心向量分類法的思想，同時(shí)還考慮了待分類文本與訓(xùn)練文本間共同出現(xiàn)的特征項(xiàng)個(gè)數(shù)對(duì)分類的重要