文本分類特征選取技術研究.pdf

1、隨著Internet的迅速發(fā)展,網(wǎng)絡信息不斷膨脹。為了提供高效、準確的信息服務,我們需要對網(wǎng)絡中繁雜的信息進行合理的組織與分類。而文本分類作為信息過濾、搜索引擎、文本數(shù)據(jù)庫、數(shù)值化圖書館等領域的技術基礎,有著廣泛的應用前景,因此也就成為人們研究的熱點問題。 本文從文本模型的向量模型表示、特征選擇、權重公式和分類器訓練這個步驟較系統(tǒng)地研究了文本自動分類,同時將粗糙集理論應用到了文本分類中。 1.介紹了文本分類的概念和向量空

2、間模型,分類系統(tǒng)的性能評價參數(shù)與粗糙集基本理論。 2.針對文本分類系統(tǒng)中關鍵技術問題,討論了文本表示的整個過程--文本預處理,特征選擇,權重計算,生成文本向量空間,提出了基于詞性篩選的預處理方法,對互信息特征選擇算法進行了擴展,引入了改進的權重公式MTF-IDF。 對當前性能較好的三種文本分類算法：樸樹貝葉斯、KNN法和支持向量機進行了研究,對現(xiàn)有特征選擇方法及權重公式進行了對比實驗。 3.結合粗糙集的優(yōu)點,提出