文本語義相似度計算方法研究.pdf

1、隨著計算機和互聯(lián)網(wǎng)技術(shù)的發(fā)展，文本數(shù)據(jù)的數(shù)量大幅度地增長，但是這類數(shù)據(jù)對于計算機來說難于理解和使用，解決這一問題的途徑之一是借助語義相似度計算。遺憾的是，現(xiàn)有的語義相似度計算研究成果在應(yīng)用時大都需要較多的附加信息，例如大規(guī)模語料庫以及完備本體等，這些附加信息在實際應(yīng)用領(lǐng)域中通常難以獲得，因此成果的應(yīng)用范圍受到了一定的限制;此外，迄今為止研究是在不同時期、不同前提下割裂地進行的，對概念、句子和文檔等研究對象的語義相似度計算研究沒有形成統(tǒng)一

2、的理論體系。針對以上問題，論文在不完備附加信息前提下，從概念、句子和文檔三個對象層面研究文本數(shù)據(jù)的語義相似度和相關(guān)度計算，計算過程包括語義提取、語義描述、語義相似度計算三個主要階段。各研究對象與本體的語義關(guān)系將基于本體結(jié)構(gòu)進行提取，用研究對象在本體中的語義“指紋”描述對象本身，構(gòu)建基于本體結(jié)構(gòu)的語義向量，從而進行語義相似度計算。
　　研究成果主要包括以下三方面:
　　1.提出了一種基于樹結(jié)構(gòu)和以樹為主體的圖結(jié)構(gòu)的相似度和相關(guān)

3、度計算方法。通過分析本體的樹結(jié)構(gòu)，可以發(fā)現(xiàn)概念節(jié)點的祖先概念節(jié)點和后代概念節(jié)點與當前概念節(jié)點語義相關(guān)，據(jù)此特點可以找出概念節(jié)點在本體樹中的相關(guān)概念節(jié)點;根據(jù)概念節(jié)點在本體中所處位置的結(jié)構(gòu)信息計算概念節(jié)點密度，實現(xiàn)基于樹結(jié)構(gòu)本體的概念語義提取，語義描述和語義相似度計算。在樹結(jié)構(gòu)本體相似度計算方法的基礎(chǔ)上，進一步提出了基于以樹為主體的圖結(jié)構(gòu)的概念相關(guān)度計算方法。針對特定語義相關(guān)度計算需要，將以樹為主體的圖結(jié)構(gòu)本體轉(zhuǎn)化為樹結(jié)構(gòu)本體，計算概念節(jié)

4、點間的語義相關(guān)度。本方法在領(lǐng)域數(shù)據(jù)中得到很好的應(yīng)用，在標準數(shù)據(jù)集WordNet上的實驗也證明:與經(jīng)典的計算方法相比，在不完備附加信息背景下，本方法獲得很好的皮爾森線性相關(guān)系數(shù)值（Correlation）。
　　2.提出了一種基于樹結(jié)構(gòu)本體的句子相似度計算方法。利用本體概念與句子中關(guān)鍵詞之間建立的語義索引，構(gòu)建句子與本體間的直接和間接語義聯(lián)系，據(jù)此提取描述句子的語義向量，從而計算句子間的語義相似度。應(yīng)用微軟研究院的意譯語料庫（MSR

5、P）對本方法進行驗證，實驗結(jié)果表明:與相關(guān)的計算方法相比，本方法在不完備附加信息應(yīng)用前提下獲得了較好的準確率和召回率。
　　3.提出了一種基于樹結(jié)構(gòu)本體的文檔相似度計算方法。除利用本體概念與文檔中的關(guān)鍵詞建立的語義索引來構(gòu)建文檔與本體間的直接和間接語義聯(lián)系外，還利用本體的層次結(jié)構(gòu)信息估算文檔關(guān)鍵詞的權(quán)重，據(jù)此構(gòu)建基于本體的文檔語義向量來計算文檔間的語義相似度。用Michael D.LEE50標準文檔相似度測試數(shù)據(jù)集進行驗證，實驗結(jié)