基于切詞和語(yǔ)義的中文相似度研究與應(yīng)用.pdf

1、在自然語(yǔ)言處理中，相似度的問(wèn)題是一個(gè)被廣泛研究和討論的具有重要價(jià)值的研究?jī)?nèi)容。中文相似度的研究是通過(guò)將語(yǔ)言學(xué)、統(tǒng)計(jì)學(xué)、社會(huì)學(xué)和計(jì)算機(jī)科學(xué)相結(jié)合，來(lái)達(dá)到計(jì)算各種結(jié)構(gòu)類(lèi)型的中文文本相似度。由于在中文沒(méi)有自然的分割符，所以中文相似度研究的前提是中文自動(dòng)切詞。經(jīng)過(guò)多年的研究探索，已有效果很好的中文切詞系統(tǒng)，如本文使用的ICTCLAS系統(tǒng)。目前的各類(lèi)相似度研究方法大致上有：基于統(tǒng)計(jì)模型的算法、基于規(guī)則的算法和基于知識(shí)網(wǎng)絡(luò)系統(tǒng)的算法這三類(lèi)。各類(lèi)算法

2、優(yōu)缺點(diǎn)不一，然而由于前兩類(lèi)沒(méi)有直接的考慮相似度中關(guān)鍵的語(yǔ)義相似這一因素而不如后一類(lèi)效果良好，因此本文也采用基于知識(shí)網(wǎng)絡(luò)系統(tǒng)的相似度算法來(lái)對(duì)詞語(yǔ)和語(yǔ)句的相似度進(jìn)行研究。
　　本文在研究總結(jié)前人的工作基礎(chǔ)上，作了如下工作內(nèi)容：
　　1、本文首先在對(duì)語(yǔ)義網(wǎng)絡(luò)《知網(wǎng)》及義原相似度研究的基礎(chǔ)上，針對(duì)目前基于《知網(wǎng)》的語(yǔ)義相似度算法的問(wèn)題以及重新考慮了義原的屬性后，提出了新的義原相似度的計(jì)算方法。在《知網(wǎng)》以及對(duì)目前的詞語(yǔ)相似度算法的研

3、究基礎(chǔ)上提出了新的詞語(yǔ)相似度算法。通過(guò)對(duì)詞語(yǔ)的共現(xiàn)性的研究，認(rèn)為詞語(yǔ)間的共現(xiàn)性也是對(duì)詞語(yǔ)相似度的一種反映，因此將詞語(yǔ)的共現(xiàn)性引入詞語(yǔ)相似度的計(jì)算中，對(duì)本文提出的詞語(yǔ)相似度的計(jì)算公式做了修正。
　　2、針對(duì)《知網(wǎng)》無(wú)法解決的未登錄詞相似度計(jì)算問(wèn)題，本文通過(guò)切詞系統(tǒng)及最大匹配算法將其轉(zhuǎn)化為《知網(wǎng)》中的登錄詞，進(jìn)而提出了基于《知網(wǎng)》的未登錄詞相似度算法。
　　3、在詞語(yǔ)相似度的研究基礎(chǔ)上以及中文切詞系統(tǒng)下，針對(duì)目前已有的語(yǔ)句相似度