基于語(yǔ)義距離的文本聚類(lèi)算法研究.pdf

1、網(wǎng)絡(luò)技術(shù)迅速發(fā)展的今天，人們?cè)絹?lái)越感受到了信息的沖擊，而文本是信息的重要載體，人們?nèi)粘Ｉ钪兴佑|到的信息有80％左右以文本的形式存在。信息內(nèi)容和格式的多樣化、復(fù)雜化，使人們無(wú)法遍歷所有感興趣的內(nèi)容，而且又不存在標(biāo)準(zhǔn)的文本分類(lèi)準(zhǔn)則，所以管理收集到的文本信息成為亟待解決的問(wèn)題，對(duì)于文本聚類(lèi)技術(shù)的研究更顯重要。 現(xiàn)有的文本聚類(lèi)方法大多采用基于VSM的關(guān)鍵詞匹配來(lái)計(jì)算文本間相似度，這種方法的最大的缺點(diǎn)就是忽略了詞之間的語(yǔ)義信息，忽略了

2、各維度之間的聯(lián)系，導(dǎo)至文本的相似度計(jì)算不夠精確，所以本文從語(yǔ)義上具體分析文檔，利用文本具體語(yǔ)義計(jì)算文本間的相似度，使得文本聚類(lèi)結(jié)果更合理，主要工作及創(chuàng)新點(diǎn)有： 1、以《知網(wǎng)》作為語(yǔ)義的本體，利用語(yǔ)義距離計(jì)算文檔間相似度，把文檔間相似度計(jì)算具體轉(zhuǎn)化為詞語(yǔ)間語(yǔ)義距離、義原間語(yǔ)義距離。考慮到文本聚類(lèi)具體應(yīng)用，本文根據(jù)《知網(wǎng)》描述各個(gè)詞的規(guī)律，改進(jìn)現(xiàn)有詞語(yǔ)相似度計(jì)算方法，更有利于發(fā)現(xiàn)詞語(yǔ)的相關(guān)性，適應(yīng)了文本聚類(lèi)的要求。 2、文本

3、聚類(lèi)算法主要采用一次遍歷聚類(lèi)算法即最近鄰聚類(lèi)算法，并提出第二次聚類(lèi)方法改進(jìn)最近鄰算法對(duì)輸入次序敏感的問(wèn)題。類(lèi)中心方面，引入相似權(quán)重的概念，并根據(jù)權(quán)重優(yōu)勝略汰候選類(lèi)特征詞，使得最后選擇的類(lèi)特征詞能夠代表類(lèi)的主題，達(dá)到文本聚類(lèi)的目的. 論文最后實(shí)驗(yàn)語(yǔ)料來(lái)源于中科院的中文自然語(yǔ)言處理開(kāi)放平臺(tái)(CNLP)網(wǎng)站，下載了100篇文檔對(duì)所提出的算法進(jìn)行了實(shí)驗(yàn)，并利用聚類(lèi)精度和召回率對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了評(píng)價(jià)，然后把評(píng)價(jià)結(jié)果與基于VSM的K-Mean