中文短語相似度計算方法研究及應(yīng)用.pdf

1、文本相似度計算作為中文信息處理中的一項基礎(chǔ)性技術(shù)，被廣泛應(yīng)用到文本分類、文本聚類、信息檢索等多個領(lǐng)域，長期以來受到了眾多學(xué)者的關(guān)注和研究。在信息大爆炸所帶來的大量文本信息的數(shù)據(jù)堆積中，很大一部分是短文本數(shù)據(jù)或短語數(shù)據(jù)，因此，在短文本數(shù)據(jù)信息的處理問題上，短語的相似度計算變得越來越重要。本文就是針對中文短語信息的處理問題，提出了一種新的中文短語相似度計算方法。在算法的設(shè)計過程中，本文分析了短語間相匹配文字的位置、匹配位置的偏移值、匹配文字

2、長度等多種因素，提出了中文短語間相似度的計算公式，并給出了該算法的實現(xiàn)代碼。 圍繞中文短語相似度計算問題，本文主要做了以下幾方面工作： 首先，研究了多種文本相似度計算方法，并分析了文本相似度計算的現(xiàn)狀和幾種經(jīng)典的文本相似度算法，對其適用領(lǐng)域和優(yōu)缺點進行了剖析；分析了文本相似度計算在文本聚類中的應(yīng)用和幾種文本聚類方法。。 其次，在對現(xiàn)有文本相似度計算方法分析研究的基礎(chǔ)上，針對短語級別文本的信息處理問題，提出了一種新