基于語(yǔ)義相似度的論文文本聚類(lèi)算法研究.pdf

1、面對(duì)網(wǎng)絡(luò)上日益增多的論文，如何快速有效地檢索出符合使用者需要的論文成為論文檢索所要面臨的一個(gè)難題。目前常用的方法是基于關(guān)鍵詞匹配的方法，該方法查詢(xún)速度快，但是沒(méi)有解決同義詞、多義詞及詞語(yǔ)概念上下位等問(wèn)題，檢索效果不盡如人意。如果利用文本聚類(lèi)技術(shù)，對(duì)檢索結(jié)果進(jìn)行進(jìn)一步的處理，把檢索結(jié)果集合按照其相關(guān)主題進(jìn)行劃分，生成不同主題的簇，同時(shí)刪除冗余的項(xiàng)，為用戶(hù)提供一個(gè)清晰的導(dǎo)航。這將大大的有利于用戶(hù)發(fā)現(xiàn)自己所需的相關(guān)論文，提高論文檢索的質(zhì)量。

2、 本文改進(jìn)了一種基于語(yǔ)義相似度的文本聚類(lèi)算法(TCUSS算法)并將其應(yīng)用于論文文本聚類(lèi)。改進(jìn)后的算法提出了一種適合論文文本的特征選擇方法和聚簇描述方法，文本數(shù)學(xué)表示方法和聚類(lèi)算法通過(guò)對(duì)TCUSS算法針對(duì)論文文本進(jìn)行一定改進(jìn)得到。 在特征選擇和聚簇描述中，算法利用論文關(guān)鍵詞能較好的表達(dá)文章主題這一特點(diǎn)，結(jié)合WordNet語(yǔ)義詞典，圍繞關(guān)鍵詞所表達(dá)的概念進(jìn)行特征提取，還利用用詞典中的同義詞集和計(jì)算特征詞間的語(yǔ)義相似度分別解決了

3、同義詞與多義詞問(wèn)題；在論文文本數(shù)學(xué)表示方面，本文采用概念列表表示文本；在詞語(yǔ)相似度計(jì)算中，用關(guān)鍵詞所在概念節(jié)點(diǎn)代替關(guān)鍵詞，計(jì)算概念節(jié)點(diǎn)在WordNet中的語(yǔ)義距離，根據(jù)語(yǔ)義距離計(jì)算詞語(yǔ)相似度；文本相似度通過(guò)計(jì)算特征詞間的相似度獲得；采用了一種基于語(yǔ)義相似度的文本聚類(lèi)算法，該算法結(jié)合了圖的理論進(jìn)行聚類(lèi)分析，避免了算法對(duì)聚簇形狀的限制；用特征詞在整個(gè)聚簇中出現(xiàn)的詞頻和其在WordNet中包含的信息量來(lái)衡量特征詞權(quán)重，選取部分權(quán)重大的特征詞進(jìn)