基于語(yǔ)義加權(quán)的中文文本相似度計(jì)算研究.pdf

1、自從進(jìn)入互聯(lián)網(wǎng)時(shí)代，人們的生活已然離不開(kāi)互聯(lián)網(wǎng)和通信技術(shù)，繁雜的網(wǎng)絡(luò)社會(huì)人群使信息呈幾何級(jí)爆炸型增長(zhǎng)。人們需要信息，但必須是經(jīng)過(guò)處理后有用的信息，中文文本信息作為信息的重要組成部分，其處理的效果及效率必然受到大家的廣泛關(guān)注。文本相似度是文本信息處理的一個(gè)基礎(chǔ)環(huán)節(jié)，其計(jì)算結(jié)果直接影響后續(xù)的文本挖掘的效果。本文從應(yīng)用最廣泛的向量空間文本表示模型著手，就向量空間中常用的文本相似度計(jì)算方法，即余弦相似度展開(kāi)研究。利用余弦距離度量文本相似度時(shí)，只

2、是對(duì)文本中具有相同的詞語(yǔ)進(jìn)行計(jì)算，不考慮詞語(yǔ)間的相關(guān)關(guān)系。而中文文本中蘊(yùn)含著豐富的語(yǔ)義信息，詞語(yǔ)之間也有著較強(qiáng)的語(yǔ)義關(guān)聯(lián)，充分利用文本中的語(yǔ)義信息，提高文本相似度量效果是必然之勢(shì)。
　　為解決余弦相似度中忽略詞語(yǔ)語(yǔ)義信息的問(wèn)題，本文對(duì)余弦相似度計(jì)算中所用到的文本表示模型、特征權(quán)重的計(jì)算和余弦相似度公式進(jìn)行了考察，分析了特征權(quán)重算法和余弦相似度公式的缺陷，提出了特征權(quán)重改進(jìn)算法和語(yǔ)義加權(quán)文本相似度計(jì)算方法，這也是本文的創(chuàng)新點(diǎn)。具體的

3、工作可以從以下兩點(diǎn)說(shuō)明：
　?。?）詞語(yǔ)之間的語(yǔ)義關(guān)聯(lián)主要包括語(yǔ)義相關(guān)度和語(yǔ)義相似度。從概念上分析，語(yǔ)義相關(guān)度是包含語(yǔ)義相似度的，相關(guān)度表達(dá)的是兩個(gè)詞語(yǔ)在語(yǔ)義上具有的某種相互依賴(lài)、相互影響的特性，這對(duì)單一文本的復(fù)雜網(wǎng)絡(luò)模型具有一定的指導(dǎo)意義。利用維基百科豐富的語(yǔ)義知識(shí)，計(jì)算詞語(yǔ)之間的語(yǔ)義相關(guān)度，構(gòu)建文本復(fù)雜網(wǎng)絡(luò)模型。根據(jù)復(fù)雜網(wǎng)絡(luò)的結(jié)構(gòu)特征指標(biāo)，構(gòu)建特征項(xiàng)的評(píng)估函數(shù)CF，提出基于復(fù)雜網(wǎng)絡(luò)的CF-IDF算法以改進(jìn)文本相似度中特征權(quán)重的

4、計(jì)算。
　?。?）語(yǔ)義相似度是語(yǔ)義相關(guān)度的一種特例，是指兩個(gè)詞語(yǔ)在不同的上下文中可以互相替換使用而不改變文本的句法語(yǔ)義結(jié)構(gòu)的程度。從詞語(yǔ)相似度的角度看，兩個(gè)文本之間即使沒(méi)有相同的詞語(yǔ)，但如果相似詞語(yǔ)越多，也可以認(rèn)定這兩個(gè)文本具有一定的相似性，這正好彌補(bǔ)余弦相似度的不足。因此，本文利用知網(wǎng)計(jì)算詞匯語(yǔ)義相似度，同時(shí)考慮到特征權(quán)重對(duì)文本相似度計(jì)算的影響，結(jié)合CF-IDF算法，在余弦相似度基礎(chǔ)上提出一種語(yǔ)義加權(quán)的文本相似度計(jì)算方法。