文本分類中特征向量空間降維方法研究.pdf

1、萬維網(wǎng)絡(luò)信息的激增使得人們在面對海量的信息時(shí)很難進(jìn)行選擇，文本分類正是為了解決萬維網(wǎng)信息檢索雜亂無章的現(xiàn)象，作為一種信息組織和管理的技術(shù)被提出來的。然而與人工分類問題相比，自動文本分類面臨許多問題，主要有： 1)用于文本表示的向量空間的維數(shù)過大，在這種高維的向量上運(yùn)用分類算法，很難有大的區(qū)分度以區(qū)分不同的類別； 2)訓(xùn)練文本集必須要覆蓋向量空間中的所有特征詞，否則通過訓(xùn)練得出的分類器有可能出現(xiàn)偏差，然而對于一個(gè)高維的向量

2、空間，要覆蓋所有的特征詞是很困難的。 為了克服上述兩個(gè)主要問題，特征向量空間降維的概念被提了出來，其方法在近年來得到廣泛的關(guān)注和研究。本文在前人工作的基礎(chǔ)上，著重對基于概念統(tǒng)計(jì)的降維方法進(jìn)行了研究。 本文首先對文本分類的基本概念和知識進(jìn)行了歸納，分析了文本的向量空間模型的表示效力以及它對于分類效果的影響因素；討論了對特征向量空間進(jìn)行降維的必要性和基本思路；在對特征詞局域性分析的基礎(chǔ)上探討了局部降維的優(yōu)勢；分析了已有的特征

3、空間降維算法，并總結(jié)了它們各自的優(yōu)缺點(diǎn)；討論了特征詞選擇和析取的原則及其主要方法。 在此基礎(chǔ)上本文分析了詞形統(tǒng)計(jì)的局限性并闡述了引入概念的優(yōu)勢；分析了概念間的層次結(jié)構(gòu)關(guān)系；基于對現(xiàn)有的向量空間降維技術(shù)的剖析，融合概念分析的方法，提出了一個(gè)基于概念統(tǒng)計(jì)的向量空間降維方法；并根據(jù)在實(shí)驗(yàn)中發(fā)現(xiàn)的問題對算法進(jìn)行了改進(jìn)，使得算法更加完善，并分析了主要算法的時(shí)間復(fù)雜度。 該方法首先對訓(xùn)練文本集中的每篇文本提取出原始的特征詞，經(jīng)過去除

4、停用詞、詞義消歧的處理后，在類的內(nèi)部利用概念間的層次關(guān)系(主要是上下位關(guān)系)用基于概念統(tǒng)計(jì)的方法對特征向量進(jìn)行局部降維。得出的向量與降維前相比，低頻特征詞的數(shù)目大為減少，高頻特征詞數(shù)目增多，且高頻特征詞的頻度得到加強(qiáng)，特征詞總的數(shù)目減少，向量的維數(shù)降低，對于所屬類別具有更強(qiáng)的關(guān)聯(lián)性和較好的表示效力，特別是具有較低的冗余和噪音，很好地達(dá)到了降維的目的。 在對所給算法進(jìn)行詳細(xì)說明的基礎(chǔ)上，本文對該算法的有效性和可行性用實(shí)驗(yàn)進(jìn)行了評估