語(yǔ)義相似度的混合計(jì)算方法.pdf

1、隨著人工智能和自然語(yǔ)言處理的迅速發(fā)展,相似度計(jì)算已成為語(yǔ)義消歧、信息提取、信息檢索、文本分類、自動(dòng)問(wèn)答、數(shù)據(jù)挖掘等基礎(chǔ)應(yīng)用的亟待解決的問(wèn)題。伴隨各個(gè)領(lǐng)域研究的不斷深入,相似度計(jì)算的對(duì)象也由之前的詞共現(xiàn)相似、語(yǔ)法結(jié)構(gòu)相似上升到了語(yǔ)義相似,而精準(zhǔn)高效的語(yǔ)義相似度計(jì)算成為了一個(gè)亟待解決的問(wèn)題。當(dāng)前語(yǔ)義相似度算法主要是基于本體詞典或知識(shí)庫(kù)的規(guī)則方法以及基于大規(guī)模語(yǔ)料庫(kù)的統(tǒng)計(jì)方法。其中,基于規(guī)則的方法主要利用詞典或知識(shí)庫(kù)中的本體樹或圖的結(jié)構(gòu)或者本

2、體之間的共現(xiàn)屬性數(shù)目。而基于統(tǒng)計(jì)的方法又分為利用知識(shí)庫(kù)和不利用知識(shí)庫(kù)的方法。其中利用知識(shí)庫(kù)的統(tǒng)計(jì)方法由于更加全面且一定程度上忽略了知識(shí)庫(kù)中的噪音信息,在這些方法中取得了最優(yōu)的效果。但該方法面臨著由于知識(shí)庫(kù)中不同主題信息收錄數(shù)目不均衡而導(dǎo)致的語(yǔ)義計(jì)算結(jié)果基準(zhǔn)不一致、知識(shí)庫(kù)中的低頻詞語(yǔ)料不足等問(wèn)題尚需解決。
　　本文分析了基于本體語(yǔ)義詞典的規(guī)則化方法和基于語(yǔ)料庫(kù)的統(tǒng)計(jì)方法的優(yōu)劣之處并取長(zhǎng)補(bǔ)短,建立了利用維基百科的中英文數(shù)據(jù)庫(kù)和知網(wǎng)(H

3、ow Net)語(yǔ)義詞典,構(gòu)建顯示語(yǔ)義分析(Explicit Semantic Analysis,ESA)算法模型,并結(jié)合傳統(tǒng)基于知網(wǎng)的語(yǔ)義相似度計(jì)算模型的詞匯層面規(guī)則與統(tǒng)計(jì)混合的計(jì)算方法。并針對(duì)詞匯語(yǔ)義分布不均衡的問(wèn)題,提出了基于停用詞(Stop Word)的語(yǔ)義相似度改進(jìn)算法。在句子層面,將句法信息、編輯距離與語(yǔ)義相似度計(jì)算進(jìn)行融合,有效的改進(jìn)了句子層面的語(yǔ)義相似度效果。
　　本文提出的語(yǔ)義相似度混合計(jì)算方法,在詞匯和句子層面的