中文文本分類中互信息特征選擇方法研究.pdf

1、隨著計算機(jī)技術(shù)與網(wǎng)絡(luò)技術(shù)的不斷發(fā)展與大規(guī)模普及，人們可以獲得的信息越來越多，這些信息大部分是以文本的形式存在的。如何從這些海量繁雜的文本數(shù)據(jù)中獲得用戶需要的有用的信息逐漸成為了人們關(guān)注的重點(diǎn)。文本自動分類作為處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)，滿足了人們對于內(nèi)容搜索的查準(zhǔn)、查全等方面的要求，逐漸成為了人們獲取知識信息的有效手段。文本分類技術(shù)最大的難點(diǎn)和特點(diǎn)之一就是特征向量空間的高維性。特征選擇作為特征向量空間降維常用的方法，由于其計算復(fù)雜

2、度低而得到了廣泛的應(yīng)用。
　　 特征選擇方法的好壞會直接影響文本分類的效果。許多研究表明，互信息方法是一種比較好的特征選擇度量方法?；バ畔⒎椒梢员硎救我鈨蓚€隨機(jī)變量之間的統(tǒng)計相關(guān)性，并且具有空間轉(zhuǎn)換的不變性。在文本分類中，互信息特征選擇方法仍然存在以下問題：(1)互信息方法只考慮了詞條在文本集合中出現(xiàn)的文檔頻率，而沒有考慮詞條在文本集合的各個類別中的每個文本里發(fā)生的頻度問題。(2)互信息方法考慮的是詞條與類別之間的相關(guān)性，而沒

3、有考慮文本詞條之間的關(guān)聯(lián)性。(3)由互信息方法的特征評價公式可以看出，文本集合的各個類別中的文本數(shù)量對于詞條互信息值的計算也有一定的影響。部分研究學(xué)者針對互信息方法存在的問題進(jìn)行了研究并提出了改進(jìn)方法。譚金波等[52]針對互信息方法沒有考慮詞條在文本中發(fā)生的頻度問題，從局部選詞的角度進(jìn)行特征選擇，給互信息加上了表征詞條出現(xiàn)概率的函數(shù)，提升高頻詞的權(quán)重。秦進(jìn)等[43]針對文本集合的各個類別中的文本數(shù)量對詞條互信息值的影響，引入了類別文本量

4、占整個文本集的比例來進(jìn)行修正，排除了當(dāng)每個類別中的文本量不相等時對詞條互信息值的影響。
　　 針對互信息方法存在的不足，本文通過引入類內(nèi)特征頻度和類內(nèi)分散度兩個指標(biāo)，同時限定詞條在文本中出現(xiàn)的最小詞頻，引入MRMR模型中的最小特征冗余度量方法，提出了一種基于文本詞頻的互信息特征選擇度量方法。本文的另外一個工作就是，設(shè)計并實(shí)現(xiàn)了一個中文文本分類系統(tǒng)，用于文本預(yù)處理、特征選擇和文本分類。也就是說該系統(tǒng)分為文本預(yù)處理、特征選擇和文本分

5、類三個模塊，每個模塊之間是相互獨(dú)立并且具有統(tǒng)一接口的，模塊之間的調(diào)用十分方便。
　　 為了驗(yàn)證本文所提出的基于文本詞頻的互信息特征選擇方法的可行性與有效性，本文在中文文本分類系統(tǒng)上進(jìn)行了對比實(shí)驗(yàn)。對比實(shí)驗(yàn)的結(jié)果表明：通過本文方法進(jìn)行特征選擇，得到的文本分類結(jié)果，無論從總體的查全率、查準(zhǔn)率、F1值還是從各個類別的查全率、查準(zhǔn)率、F1值來看，都比使用傳統(tǒng)的互信息特征選擇方法和已有的一些改進(jìn)的互信息特征選擇方法進(jìn)行特征選擇得到的文本分