文本分類停用詞處理和特征選擇技術(shù)研究.pdf

1、21世紀(jì)步入了信息時(shí)代，越來越多的信息以電子文檔的形式出現(xiàn)，自動(dòng)文本分類可以幫助人們快速、準(zhǔn)確的獲取所需信息，具有重要的研究意義和價(jià)值。本文就文本分類的關(guān)鍵技術(shù)：文本預(yù)處理和特征選擇方面進(jìn)行了探究。
　　在文本預(yù)處理階段，停用詞的處理對(duì)分類效率和分類精度都有一定的影響。傳統(tǒng)的停用詞一般由人工根據(jù)經(jīng)驗(yàn)判斷并加入到停用詞集合中，這種方法得到的停用詞沒有考慮不同的訓(xùn)練集合的特性。本文引入差異系數(shù)來描述特征詞在出現(xiàn)類別中的文檔頻數(shù)的離散程

2、度，提出了一種結(jié)合語料庫基于差異系數(shù)的動(dòng)態(tài)停用詞處理方法。方法通過統(tǒng)計(jì)特征詞在各個(gè)類別中出現(xiàn)的文檔頻數(shù)，并設(shè)定特征詞出現(xiàn)的最小類別數(shù)，計(jì)算其差異系數(shù)，進(jìn)而判斷該詞是否為停用詞。實(shí)驗(yàn)證明這種方法針對(duì)不同的語料庫可以選出特定的停用詞集，具有較強(qiáng)的自適應(yīng)性。
　　在特征選擇階段，好的特征選擇算法可以更好的選出更有代表性的詞匯，提升分類性能。本文分析傳統(tǒng)卡方檢驗(yàn)的不足之處：
　?。?）僅僅考慮了一個(gè)特征詞是否出現(xiàn)在一篇文檔中，沒有考

3、慮特征詞出現(xiàn)的頻度，引發(fā)低頻詞缺陷，影響分類精度。
　　（2）若特征詞出現(xiàn)在指定類別中的文檔頻數(shù)較小，在其余類別中出現(xiàn)的文檔頻數(shù)高的話，卡方檢驗(yàn)會(huì)賦予該詞較高的卡方值，引發(fā)負(fù)相關(guān)現(xiàn)象。
　　針對(duì)卡方檢驗(yàn)的不足之處，本文引入了標(biāo)準(zhǔn)分?jǐn)?shù)和類內(nèi)特征詞分布兩個(gè)參數(shù)，分別解決負(fù)相關(guān)和低頻詞缺點(diǎn)，提出了改進(jìn)卡方檢驗(yàn)特征選擇。新的方法使用標(biāo)準(zhǔn)分?jǐn)?shù)來描述特征詞在某個(gè)類別中出現(xiàn)的文檔頻數(shù)和該特征詞在訓(xùn)練集出現(xiàn)的平均文檔頻數(shù)之間的距離，使用類內(nèi)