文本分類停用詞處理和特征選擇技術研究.pdf

1、21世紀步入了信息時代，越來越多的信息以電子文檔的形式出現，自動文本分類可以幫助人們快速、準確的獲取所需信息，具有重要的研究意義和價值。本文就文本分類的關鍵技術：文本預處理和特征選擇方面進行了探究。
　　在文本預處理階段，停用詞的處理對分類效率和分類精度都有一定的影響。傳統(tǒng)的停用詞一般由人工根據經驗判斷并加入到停用詞集合中，這種方法得到的停用詞沒有考慮不同的訓練集合的特性。本文引入差異系數來描述特征詞在出現類別中的文檔頻數的離散程

2、度，提出了一種結合語料庫基于差異系數的動態(tài)停用詞處理方法。方法通過統(tǒng)計特征詞在各個類別中出現的文檔頻數，并設定特征詞出現的最小類別數，計算其差異系數，進而判斷該詞是否為停用詞。實驗證明這種方法針對不同的語料庫可以選出特定的停用詞集，具有較強的自適應性。
　　在特征選擇階段，好的特征選擇算法可以更好的選出更有代表性的詞匯，提升分類性能。本文分析傳統(tǒng)卡方檢驗的不足之處：
　　（1）僅僅考慮了一個特征詞是否出現在一篇文檔中，沒有考

3、慮特征詞出現的頻度，引發(fā)低頻詞缺陷，影響分類精度。
　?。?）若特征詞出現在指定類別中的文檔頻數較小，在其余類別中出現的文檔頻數高的話，卡方檢驗會賦予該詞較高的卡方值，引發(fā)負相關現象。
　　針對卡方檢驗的不足之處，本文引入了標準分數和類內特征詞分布兩個參數，分別解決負相關和低頻詞缺點，提出了改進卡方檢驗特征選擇。新的方法使用標準分數來描述特征詞在某個類別中出現的文檔頻數和該特征詞在訓練集出現的平均文檔頻數之間的距離，使用類內