結(jié)合漢明距離及語義的文本相似度量方法研究.pdf

1、當(dāng)今人類越來越重的網(wǎng)絡(luò)依賴性令網(wǎng)絡(luò)數(shù)據(jù)的規(guī)模呈現(xiàn)出爆炸性增長(zhǎng)的趨勢(shì)，文字作為重要載體，其相關(guān)的文本信息處理技術(shù)得到越來越多的關(guān)注。文本相似度量作為該技術(shù)的關(guān)鍵部分，其準(zhǔn)確率直接影響文本信息處理的結(jié)果。
　　目前文本相似度量方法的主流之一是利用向量空間模型(VSM)中向量關(guān)系來反應(yīng)文本之間的相似程度，其概念簡(jiǎn)單、可計(jì)算性強(qiáng)。但該方法涉及到高維稀疏矩陣的處理，計(jì)算復(fù)雜度高，另外，它忽略語義信息對(duì)文本的影響。另有一種基于語義的相似度算法

2、可克服此缺點(diǎn)。但需要特定領(lǐng)域的知識(shí)庫支持，其建立過程的繁雜性，使此類算法理論多過實(shí)踐。
　　借鑒此二類算法，本文提出一種新方法(HSim)。該方法結(jié)合第一類方法中空間模型的優(yōu)勢(shì)，以及第二類方法中語義信息的優(yōu)勢(shì)，最后利用漢明距離來計(jì)算文本相似度，從而避開了對(duì)高維稀疏矩陣的直接處理。該方法一方面利用漢明距離克服第一類方法中高維稀疏矩陣低計(jì)算效率的缺點(diǎn)；另一方面，VSM模型與漢明距離的結(jié)合，使HSim直接利用語義詞典作為參照，克服了第二