文本分類中特征向量空間降維方法研究.pdf

1、萬(wàn)維網(wǎng)絡(luò)信息的激增使得人們?cè)诿鎸?duì)海量的信息時(shí)很難進(jìn)行選擇，文本分類正是為了解決萬(wàn)維網(wǎng)信息檢索雜亂無(wú)章的現(xiàn)象，作為一種信息組織和管理的技術(shù)被提出來(lái)的。然而與人工分類問(wèn)題相比，自動(dòng)文本分類面臨許多問(wèn)題，主要有： 1)用于文本表示的向量空間的維數(shù)過(guò)大，在這種高維的向量上運(yùn)用分類算法，很難有大的區(qū)分度以區(qū)分不同的類別； 2)訓(xùn)練文本集必須要覆蓋向量空間中的所有特征詞，否則通過(guò)訓(xùn)練得出的分類器有可能出現(xiàn)偏差，然而對(duì)于一個(gè)高維的向量

2、空間，要覆蓋所有的特征詞是很困難的。 為了克服上述兩個(gè)主要問(wèn)題，特征向量空間降維的概念被提了出來(lái)，其方法在近年來(lái)得到廣泛的關(guān)注和研究。本文在前人工作的基礎(chǔ)上，著重對(duì)基于概念統(tǒng)計(jì)的降維方法進(jìn)行了研究。 本文首先對(duì)文本分類的基本概念和知識(shí)進(jìn)行了歸納，分析了文本的向量空間模型的表示效力以及它對(duì)于分類效果的影響因素；討論了對(duì)特征向量空間進(jìn)行降維的必要性和基本思路；在對(duì)特征詞局域性分析的基礎(chǔ)上探討了局部降維的優(yōu)勢(shì)；分析了已有的特征

3、空間降維算法，并總結(jié)了它們各自的優(yōu)缺點(diǎn)；討論了特征詞選擇和析取的原則及其主要方法。 在此基礎(chǔ)上本文分析了詞形統(tǒng)計(jì)的局限性并闡述了引入概念的優(yōu)勢(shì)；分析了概念間的層次結(jié)構(gòu)關(guān)系；基于對(duì)現(xiàn)有的向量空間降維技術(shù)的剖析，融合概念分析的方法，提出了一個(gè)基于概念統(tǒng)計(jì)的向量空間降維方法；并根據(jù)在實(shí)驗(yàn)中發(fā)現(xiàn)的問(wèn)題對(duì)算法進(jìn)行了改進(jìn)，使得算法更加完善，并分析了主要算法的時(shí)間復(fù)雜度。 該方法首先對(duì)訓(xùn)練文本集中的每篇文本提取出原始的特征詞，經(jīng)過(guò)去除

4、停用詞、詞義消歧的處理后，在類的內(nèi)部利用概念間的層次關(guān)系(主要是上下位關(guān)系)用基于概念統(tǒng)計(jì)的方法對(duì)特征向量進(jìn)行局部降維。得出的向量與降維前相比，低頻特征詞的數(shù)目大為減少，高頻特征詞數(shù)目增多，且高頻特征詞的頻度得到加強(qiáng)，特征詞總的數(shù)目減少，向量的維數(shù)降低，對(duì)于所屬類別具有更強(qiáng)的關(guān)聯(lián)性和較好的表示效力，特別是具有較低的冗余和噪音，很好地達(dá)到了降維的目的。 在對(duì)所給算法進(jìn)行詳細(xì)說(shuō)明的基礎(chǔ)上，本文對(duì)該算法的有效性和可行性用實(shí)驗(yàn)進(jìn)行了評(píng)估