文本分類算法的研究與改進(jìn).pdf

1、文本分類可以為文本提供有序的組織，網(wǎng)絡(luò)信息的增長(zhǎng)使文本分類對(duì)信息處理的意義變得更加重要。
　　 二十世紀(jì)八十年代以后，基于機(jī)器學(xué)習(xí)的文本自動(dòng)分類方法越來(lái)越成為主流，它具有周期短，效率高，節(jié)省人力資源等優(yōu)點(diǎn)。但文本自動(dòng)分類研究自開(kāi)展以來(lái)，準(zhǔn)確率一直不能達(dá)到令人滿意的效果，如何提高分類準(zhǔn)確率成為研究熱點(diǎn)。
　　 本文較詳細(xì)的介紹了文本自動(dòng)分類的多種關(guān)鍵技術(shù)，分析了文本的向量空間模型的表示效力以及它對(duì)于分類效果的影響因素；然后

2、針對(duì)樸素貝葉斯文本分類方法中“屬性獨(dú)立性假設(shè)”的不足，運(yùn)用局部降維的思想提出了一種用互信息差值來(lái)表達(dá)特征項(xiàng)之間的相關(guān)性，對(duì)相關(guān)性高的特征采取適當(dāng)融合來(lái)達(dá)到向量空間降維的方法。
　　 此方法首先對(duì)訓(xùn)練文本集中的每篇文本提取出原始的特征詞，經(jīng)過(guò)去除停用詞、詞義消歧的處理后，在類的內(nèi)部利用信息差值來(lái)表達(dá)特征項(xiàng)之間的相關(guān)性，對(duì)相關(guān)性高的特征采取適當(dāng)融合的方法來(lái)對(duì)特征向量進(jìn)行局部降維。得出的向量與降維前相比，低頻特征詞的數(shù)目大為減少，高頻