基于改進TFIDF的混合模型文本分類方法研究.pdf

1、文本分類技術(shù)是從龐大而雜亂的文本中準確而快速的識別所需信息的關(guān)鍵技術(shù)。在文本分類的過程中，文本被送入分類器之前首先要對文本進行預(yù)處理工作，包括文本分詞、去停用詞、特征選擇和特征提取等。特征選擇和特征提取可以排除文本中所含的噪音數(shù)據(jù)，降低文本特征空間的維度。這一過程十分重要，因為其可以直接影響到分類精度。本文針對特征選擇和特征提取進行研究，提出了一種基于向量空間模型與主題模型的混合模型。能使得文本的特征向量盡可能多的攜帶類別信息的同時又使

2、其維度降低。本文的工作如下:
　　第一，改進TFIDF算法。引入變異系數(shù)，提出了一種改進方法TFIDFCV。該方法用變異系數(shù)作為權(quán)重因子，綜合考慮特征詞在類間和類內(nèi)的信息分布，調(diào)整TFIDF對特征項的權(quán)重計算，可以避免傳統(tǒng)的TFIDF方法沒有考慮特征項類間和類內(nèi)的分布情況的缺點，能夠更有效的從文本中選擇特征。
　　第二，提出混合模型。通過LDA主題模型對文本進行特征提取，可以降低特征空間的維度。分別對名詞、動詞以及其他詞建模

3、，可以有效利用文本中的詞性信息，構(gòu)建一種結(jié)合詞性的LDA模型，即PST-LDA。以PST-LDA模型和TFIDFCV方法共同處理文本集，結(jié)合詞頻、詞性和主題等信息，以期望得到信息承載量更大的特征。
　　第三，實驗驗證。設(shè)計了兩組實驗，分析驗證改進的效果。第一組，TFIDF與TFIDFCV方法在支持向量機下文本分類的效果對比。實驗結(jié)果表明TFIDFCV方法較TFIDF方法的宏F1值提高了1.21％。第二組，LDA、PST-LDA、T