基于向量空間模型的文本分類算法研究.pdf

1、隨著網(wǎng)絡(luò)信息的迅速發(fā)展，如何在海量的文本信息資源中快捷、準(zhǔn)確的獲取有用信息已成為信息處理技術(shù)的關(guān)鍵。文本分類技術(shù)作為處理和組織大規(guī)模數(shù)據(jù)的核心技術(shù)，可以在很大程度上解決信息分類混亂問(wèn)題，并更加準(zhǔn)確高效地實(shí)現(xiàn)信息定位和信息分流。目前，文本分類技術(shù)在信息檢索、網(wǎng)頁(yè)去重、自動(dòng)問(wèn)答等領(lǐng)域都起到了不可或缺的作用，并迅速成為相關(guān)領(lǐng)域的研究熱點(diǎn)。以向量空間模型(VSM)為代表的基于數(shù)據(jù)統(tǒng)計(jì)的文本相似性算法因其具有實(shí)現(xiàn)簡(jiǎn)單、計(jì)算高效等特點(diǎn)而得到了廣泛的

2、應(yīng)用，但隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展和文本信息資源數(shù)量的急速增加，文本種類、文本復(fù)雜度也較之前有了很大的改變，進(jìn)而導(dǎo)致傳統(tǒng)的VSM算法在文本分類過(guò)程中的缺陷也日漸凸顯。
　　本文首先結(jié)合知網(wǎng)語(yǔ)義知識(shí)詞典(HowNet)和隱形語(yǔ)義索引(LSI)在文本分類中的應(yīng)用，深入比對(duì)并分析了傳統(tǒng)VSM算法在分類過(guò)程中的缺陷。由于VSM算法是基于詞形建立向量空間模型，沒(méi)有考察特征詞條間的語(yǔ)義信息，忽略了相同語(yǔ)義下詞形的多樣性、不確定性，從而導(dǎo)致文本分類

3、精度不夠。另外，針對(duì)文本庫(kù)中海量詞條建立向量空間也使得該向量空間維度過(guò)大，進(jìn)而導(dǎo)致文本分類效率較低。為此，本論文借助HowNet(知網(wǎng))中的語(yǔ)義層次樹(shù)，依據(jù)語(yǔ)義層次樹(shù)中的上下位關(guān)系對(duì)VSM中的特征向量進(jìn)行語(yǔ)義擴(kuò)展，將每一個(gè)特征詞條擴(kuò)展為一系列與之具有語(yǔ)義相關(guān)性的特征詞條集合，并賦予相應(yīng)權(quán)重。另外，根據(jù)HowNet中的詞匯相似度公式為具有同義關(guān)系的詞條建立同義詞集合，并引入“標(biāo)志詞”(flag word)的概念，以“標(biāo)志詞”來(lái)取代集合內(nèi)對(duì)

4、應(yīng)詞條。語(yǔ)義擴(kuò)展和同義詞集合建立兩個(gè)階段實(shí)現(xiàn)了VSM特征詞條的語(yǔ)義重構(gòu)，對(duì)重構(gòu)后的特征向量進(jìn)行VSM相似度計(jì)算具有更高的計(jì)算精度。在實(shí)驗(yàn)過(guò)程中，針對(duì)傳統(tǒng)VSM在文本分類過(guò)程中的缺陷，本文為分屬于不同領(lǐng)域的大量文本數(shù)據(jù)建立了相關(guān)數(shù)據(jù)集，并通過(guò)文本分類實(shí)驗(yàn)對(duì)比得出改進(jìn)算法與傳統(tǒng)VSM在召回率、精確率等索引性能上的差異。實(shí)驗(yàn)結(jié)果表明，較傳統(tǒng)VSM算法，改進(jìn)算法在文本分類精度及文本分類效率上都有一定程度的提高。最后本文結(jié)合改進(jìn)算法在特征詞條的消