三網(wǎng)融合下文本分類(lèi)的特征選擇方法研究.pdf

1、計(jì)算機(jī)技術(shù)的發(fā)展,互聯(lián)網(wǎng)不斷發(fā)展與普及,以及三網(wǎng)融合工作的不斷推進(jìn),使得人們能夠獲得的信息越來(lái)越多,其中這些信息大多數(shù)是以文本形式存在的。新技術(shù)的發(fā)展使得人們的生活更加豐富多彩,但是海量信息也使得人們很難從中選擇出對(duì)他們有用的信息。因此對(duì)信息分類(lèi)的研究越來(lái)越重要,解決信息雜亂現(xiàn)象的問(wèn)題,使用戶(hù)能夠方便準(zhǔn)確地定位所需要的信息和分流信息。文本自動(dòng)分類(lèi)研究的難點(diǎn)問(wèn)題就是高維的特征向量空間。特征選擇是常用的特征向量空間降維的方法。
　　特

2、征選擇方法對(duì)文本分類(lèi)的效果有很大的影響?；バ畔⑻卣鬟x擇方法和特征頻度TFIDF特征選擇方法是比較好的特征選擇方法,互信息方法是研究特征與類(lèi)別之間的關(guān)聯(lián)程度,而特征頻度方法是研究特征在文本中的概率。但兩種方法都有一定的不足之處,互信息方法過(guò)于依賴(lài)低頻詞導(dǎo)致特征選擇排序時(shí)損失大量有用信息,而且當(dāng)特征詞條的互信息值很大時(shí),與該特征相關(guān)的一些特征詞可能被選擇,這造成了特征冗余;特征頻度TFIDF特征選擇方法沒(méi)有考慮特征在各種類(lèi)別之間的分布情況,

3、也沒(méi)有考慮特征在類(lèi)別內(nèi)部的各個(gè)文本之間的分布情況。前輩們針對(duì)互信息和特征頻度的不足來(lái)提出了改進(jìn)方法。論文在前人的基礎(chǔ)上給出改進(jìn)方案,引入調(diào)節(jié)因子來(lái)改善互信息方法的不足,將信息熵的思想加入到特征頻度TFIDF方法中加以改進(jìn),然后將改進(jìn)后的兩種方法相結(jié)合起來(lái)使用,取長(zhǎng)補(bǔ)短,提出新的改進(jìn)的組合型特征選擇方法。
　　最后,通過(guò)設(shè)計(jì)中文文本分類(lèi)系統(tǒng)來(lái)做實(shí)驗(yàn),檢驗(yàn)改進(jìn)的組合型特征選擇方法的有效性和可行性。分別使用改進(jìn)的組合型特征選擇方法、傳統(tǒng)