語義相似度的混合計算方法.pdf

1、隨著人工智能和自然語言處理的迅速發(fā)展,相似度計算已成為語義消歧、信息提取、信息檢索、文本分類、自動問答、數(shù)據(jù)挖掘等基礎應用的亟待解決的問題。伴隨各個領域研究的不斷深入,相似度計算的對象也由之前的詞共現(xiàn)相似、語法結構相似上升到了語義相似,而精準高效的語義相似度計算成為了一個亟待解決的問題。當前語義相似度算法主要是基于本體詞典或知識庫的規(guī)則方法以及基于大規(guī)模語料庫的統(tǒng)計方法。其中,基于規(guī)則的方法主要利用詞典或知識庫中的本體樹或圖的結構或者本

2、體之間的共現(xiàn)屬性數(shù)目。而基于統(tǒng)計的方法又分為利用知識庫和不利用知識庫的方法。其中利用知識庫的統(tǒng)計方法由于更加全面且一定程度上忽略了知識庫中的噪音信息,在這些方法中取得了最優(yōu)的效果。但該方法面臨著由于知識庫中不同主題信息收錄數(shù)目不均衡而導致的語義計算結果基準不一致、知識庫中的低頻詞語料不足等問題尚需解決。
　　本文分析了基于本體語義詞典的規(guī)則化方法和基于語料庫的統(tǒng)計方法的優(yōu)劣之處并取長補短,建立了利用維基百科的中英文數(shù)據(jù)庫和知網(wǎng)(H

3、ow Net)語義詞典,構建顯示語義分析(Explicit Semantic Analysis,ESA)算法模型,并結合傳統(tǒng)基于知網(wǎng)的語義相似度計算模型的詞匯層面規(guī)則與統(tǒng)計混合的計算方法。并針對詞匯語義分布不均衡的問題,提出了基于停用詞(Stop Word)的語義相似度改進算法。在句子層面,將句法信息、編輯距離與語義相似度計算進行融合,有效的改進了句子層面的語義相似度效果。
　　本文提出的語義相似度混合計算方法,在詞匯和句子層面的