基于語(yǔ)義的中文文本特征降維方法研究.pdf

1、隨著信息技術(shù)的發(fā)展，文本信息呈幾何級(jí)數(shù)不斷增長(zhǎng)，人們已經(jīng)被淹沒(méi)在信息海洋中。如何有效的組織、管理和利用這些文本信息，并快速、準(zhǔn)確的從信息海洋中尋找到所需要的信息，是當(dāng)前人們所要面對(duì)的一大挑戰(zhàn)。文本分類(lèi)在很大程度上解決了信息雜亂無(wú)章的現(xiàn)象。而文本數(shù)據(jù)的高維性和稀疏性可能導(dǎo)致分類(lèi)精度的下降，因此特征降維作為文本分類(lèi)過(guò)程中不可或缺的環(huán)節(jié)，已經(jīng)成為信息科學(xué)領(lǐng)域的研究熱點(diǎn)。
　　作為模式識(shí)別、數(shù)據(jù)挖掘等領(lǐng)域中的一項(xiàng)重要預(yù)處理步驟，特征降維通

2、過(guò)刪除無(wú)關(guān)的冗余、噪聲特征，達(dá)到降維的目的。然而，由于傳統(tǒng)的特征降維技術(shù)僅僅考慮詞語(yǔ)的統(tǒng)計(jì)信息，而忽略詞語(yǔ)本身所含的高層語(yǔ)義，所選特征集往往不能從語(yǔ)義層次完整、準(zhǔn)確的表達(dá)文檔的意思。而中文作為一種表意型語(yǔ)言，其句法結(jié)構(gòu)復(fù)雜，用詞多變，一詞多義和多詞同義的現(xiàn)象嚴(yán)重，在降維的過(guò)程中更要充分的考慮詞語(yǔ)的語(yǔ)法、語(yǔ)義信息。
　　本文針對(duì)傳統(tǒng)降維方法丟棄詞語(yǔ)本身語(yǔ)義的缺點(diǎn)，在降維的過(guò)程中考慮了語(yǔ)義信息。首先分析了傳統(tǒng)特征降維的缺點(diǎn)、中文文本特

3、征降維的必要性及文本分類(lèi)和特征降維的國(guó)內(nèi)外研究現(xiàn)狀；然后提出了一種基于語(yǔ)義的降維思路，通過(guò)引入潛在語(yǔ)義索引技術(shù)，對(duì)原始特征項(xiàng)進(jìn)行潛在的語(yǔ)義挖掘，隨后將特征項(xiàng)投影到低維的語(yǔ)義空間中并計(jì)算其語(yǔ)義相似度，應(yīng)用聚類(lèi)算法對(duì)所有特征項(xiàng)進(jìn)行聚類(lèi)融合，達(dá)到對(duì)特征項(xiàng)進(jìn)行二次降維的效果。最后，為了驗(yàn)證所提出的語(yǔ)義降維方法的有效性，在基于ICTCLAS和Lucene的基礎(chǔ)上搭建了文本分類(lèi)實(shí)驗(yàn)平臺(tái)，并選用傳統(tǒng)2?降維方法進(jìn)行文本分類(lèi)對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)表明，本文所提