漢語句子相似度計算及其在自動問答系統(tǒng)中的應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，問答系統(tǒng)成為自然語言處理中最有活力的研究方向之一。常問問題庫(FAQ)的問答系統(tǒng)把用戶經(jīng)常提問的問題和相關(guān)的答案組織在一起，給用戶提供了一種更方便、快捷的解決途徑，它的應(yīng)用也越來越廣泛。在問答系統(tǒng)中，句子相似度計算是其中關(guān)鍵的技術(shù)。本文針對傳統(tǒng)句子相似度計算方法利用句子的某一方面信息進行相似度計算時考慮不全面的問題，提出了綜合多特征的句子相似度計算方法。實驗驗證了本文的方法在計算句子相似度時準確率要高于傳統(tǒng)的三種

2、句子相似度計算方法。最后本文將綜合多特征的句子相似度計算方法應(yīng)用于計算機領(lǐng)域問答系統(tǒng)常問問題庫(FAQ)的問句匹配中，進一步驗證了該方法的有效性。
　　 論文的主要工作如下：
　　 1.利用兩個句子中詞語共現(xiàn)的頻率，計算句子的詞形相似度。
　　 2.采用了基于詞典的詞語相似度計算方法，利用《哈爾濱工業(yè)大學(xué)同義詞詞林擴展》提供的豐富語義信息，計算句子詞語語義相似度。
　　 3.運用樹核(Tree Kerne

3、l)計算句子的句法結(jié)構(gòu)相似度。樹狀結(jié)構(gòu)是漢語句子結(jié)構(gòu)最直觀的一種表現(xiàn)形式，而樹核能很好地計算出兩個樹狀結(jié)構(gòu)的相似度。為此，用句法分析器將兩個句子分析成樹狀結(jié)構(gòu)，使用樹核對這種樹狀結(jié)構(gòu)的相似性進行度量，從而得到兩個句子的句法結(jié)構(gòu)相似度。
　　 4.將兩個句子的詞形、詞語語義、句法結(jié)構(gòu)三個方面的相似度進行加權(quán)綜合，得到兩個句子的相似度。
　　 5.實驗驗證了本文的方法比傳統(tǒng)的句子相似度計算方法在計算句子相似度時具有更高的準確