基于信息熵的文本特征加權(quán)方法研究.pdf

1、如何在浩瀚繁雜的文本中掌握最有用、最準(zhǔn)確的信息,始終是信息處理技術(shù)急待解決的問(wèn)題。而解決這個(gè)問(wèn)題較有效的方法就是對(duì)文本文檔進(jìn)行分類。文本分類的優(yōu)劣直接關(guān)系到人們使用文本信息的效率。對(duì)文本文檔進(jìn)行特征加權(quán)是提高文本分類效果簡(jiǎn)潔且有效的方法。目前,TF/IDF方法是常用的且效果較好的一種特征加權(quán)方法。但是,它也存在著沒(méi)有考慮特征項(xiàng)在類內(nèi)和類間分布問(wèn)題的不足。因此,如何解決文本文檔特征項(xiàng)在類內(nèi)和類間分布不均衡是TF/IDF特征加權(quán)方法亟待解決

2、的問(wèn)題。
　　 本文針對(duì)傳統(tǒng)的TF/IDF算法存在的不足,提出了一種基于信息熵的TF/IDF特征加權(quán)算法。該算法依據(jù)信息熵的理論知識(shí),將文本數(shù)據(jù)集視作符合某種規(guī)律分布的信息源。通過(guò)文本文檔中特征項(xiàng)的信息熵來(lái)度量其在文本分類中所能提供的分類信息量(即分類能力)。算法中使用信息熵來(lái)度量特征項(xiàng)在文本分類過(guò)程中的重要程度,并把得到的程度信息反映到文本文檔特征項(xiàng)的權(quán)重值大小當(dāng)中。為了驗(yàn)證所提出的基于信息熵的TF/IDF算法的合理性和有效性