基于信息增益的中文特征提取算法研究.pdf

1、隨著網(wǎng)絡(luò)和信息技術(shù)的飛速發(fā)展，人們可獲得的知識越來越多，但是要快速、準(zhǔn)確地定位需要的信息卻越來越困難。如何在海量的信息中提取有價值的信息成為信息處理的一大熱點(diǎn)，各種信息組織和處理的技術(shù)被提出來，文本分類技術(shù)就是其中之一。文本分類能夠處理大量的文本，較大程度解決信息資源雜亂無章的現(xiàn)狀，方便用戶準(zhǔn)確定位所需信息。
　　文本分類涉及文本預(yù)處理、中文分詞、特征選取等多個過程。其中特征詞權(quán)重算法和分類算法一直是文本分類過程中的研究熱點(diǎn)，算法

2、的優(yōu)劣將直接影響分類的效果。本文將特征詞權(quán)重算法和分類算法作為重點(diǎn)研究對象，針對它們存在的不足進(jìn)行改進(jìn)。本文主要工作如下：
　?、俜治鰴?quán)重公式TFIDF和TF.IDF.IG。
　?、趯F.IDF.IG的進(jìn)一步分析，發(fā)現(xiàn) TF.IDF.IG對TFIDF的改進(jìn)并不徹底，TF.IDF.IG只考慮了詞語在文檔集合中的分布情況，沒有考慮詞語在不同層次的分布情況對權(quán)重的影響。本文將從類別層次和文檔層次兩個層面去改進(jìn)TF.IDF.IG，

3、提出新的特征詞權(quán)重計算公式。
　?、蹖ΜF(xiàn)有分類算法KNN進(jìn)行分析，針對其在決定測試樣本的類別時，把測試樣本的k個最近鄰等同看待的缺點(diǎn)，本文將模糊數(shù)學(xué)的隸屬度函數(shù)引入KNN算法來改進(jìn)其類別屬性函數(shù)，從而區(qū)別對待測試樣本的k個最近鄰。
　?、転榱蓑?yàn)證本文改進(jìn)的TF.IDF.IG方法的正確性和KNN算法用于中文文本分類的效果，本文將完成兩個實(shí)驗(yàn)：1）將改進(jìn)的TF.IDF.IG權(quán)重算法和TF.IDF.IG對比實(shí)驗(yàn)；2）將改進(jìn)的KNN