基于SVm-KNN的文本分類系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著因特網(wǎng)的飛速發(fā)展，人們可以從網(wǎng)絡(luò)上獲取越來越多諸如文本、圖片、視頻等各種形式的信息，而其中半結(jié)構(gòu)化或無結(jié)構(gòu)化的文本信息占據(jù)了很大一部分。如何利用文本分類技術(shù)對(duì)這些文本信息進(jìn)行分門別類是非常重要的。文本分類技術(shù)在一定程度上解決了信息雜亂的問題，而且它已成為搜索引擎、垃圾郵件過濾等領(lǐng)域的基礎(chǔ)。所以，對(duì)文本分類的研究有著重要的意義。
　　本文首先介紹了中文文本分類所涉及到的相關(guān)理論，如:向量空間模型、特征選擇、分類方法、評(píng)價(jià)指標(biāo)、權(quán)

2、重計(jì)算方法以及相似度計(jì)算方法。
　　其次通過對(duì)權(quán)重計(jì)算算法TFIDF的分析研究，針對(duì)傳統(tǒng)TFIDF算法忽略特征項(xiàng)的在整個(gè)樣本集上各個(gè)類之間的分布情況這一不足，在傳統(tǒng)算法中增加了表示特征項(xiàng)在各個(gè)類間的分布情況的不均衡變量以及表示類內(nèi)各個(gè)文本間分布情況的參數(shù)，使改進(jìn)后的權(quán)重計(jì)算方法更能夠體現(xiàn)出特征項(xiàng)的類別貢獻(xiàn)率。對(duì)信息增益特征選擇方法進(jìn)行了分析，針對(duì)信息增益方法在樣本集不均勻時(shí)，性能大幅下降的缺點(diǎn)，引入了體現(xiàn)特征項(xiàng)類別表征能力的分散度

3、和集中度兩個(gè)變量，使信息增益方法進(jìn)一步提升性能。對(duì)KNN和SVM分類方法進(jìn)行了分析，在此基礎(chǔ)上，針對(duì)SVM方法在最優(yōu)分界面附近分類準(zhǔn)確度降低的缺點(diǎn)和KNN分類速度慢的缺點(diǎn)，提出了SVM-KNN分類方法，提高了分類精度和速度。并針對(duì)該算法在樣本分布不平衡時(shí)存在的不足之處，加入了懲罰機(jī)制，進(jìn)行了改進(jìn)。
　　在理論研究的基礎(chǔ)上，構(gòu)建了一個(gè)包括預(yù)處理模塊、權(quán)重計(jì)算和特征選擇模塊、分類模塊以及性能評(píng)測(cè)模塊四個(gè)功能模塊的中文文本分類系統(tǒng)，用C