漢語詞語及句子相似度算法研究與應(yīng)用.pdf

1、詞語和句子的相似度計算在信息檢索、文本分類、問答系統(tǒng)以及基于實例的機器翻譯等各領(lǐng)域中都有著廣泛的應(yīng)用。作為目前討論的重點，本文主要從語義的角度出發(fā)對基于“知網(wǎng)”的詞語及句子相似度計算方法進行了深入的研究。
　　基于“知網(wǎng)”的詞語（句子）相似度計算通常是把義原（詞語）之間的最優(yōu)匹配對作為運算的基本單位，最終的整體相似度可由每一部分的相似度值通過適當?shù)募訖?quán)計算合成而來，這樣的做法往往會造成一些匹配對內(nèi)部信息的重復(fù)和結(jié)構(gòu)的不合理。本論文

2、正是針對該問題，在深入分析“知網(wǎng)”體系結(jié)構(gòu)的基礎(chǔ)上，對詞語和句子的相似度計算以及詞義消歧做了創(chuàng)新性和探索性的研究。主要內(nèi)容為：
　　1．詳細研究了當前基于“知網(wǎng)”的義原相似度計算方法。這類義原相似度計算機制往往是通過計算兩個義原在上下位層次關(guān)系樹中的路徑距離來得到義原之間的相似度，沒有或者很少考慮義原在層次樹中的深度，本文綜合考慮了義原間的路徑距離以及義原層次樹的深度，從義原所包含的信息結(jié)點數(shù)量出發(fā)，得到了一種新的義原相似度計算方

3、法。
　　2．詳細研究了目前常用的詞語及句子相似度計算方法，并把討論的重點放在了基于“知網(wǎng)”的詞語及句子相似度計算上面。文章從信息論的角度出發(fā)，在上文所提出的義原相似度算法基礎(chǔ)上，分別對兩個義原集合之間的共有信息和差異信息進行統(tǒng)計，并據(jù)此得出兩個義原集合之間的相似度，最終的詞語（句子）相似度計算是以義原集合為計算單位的。
　　3．研究了目前常用的詞義消歧算法的基本原理和具體方法。在“知網(wǎng)”提供的搭配實例以及上文中提出的句子相