語(yǔ)義網(wǎng)圖中文本相似度方法的應(yīng)用研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)和教育水平的不斷提高，重復(fù)文檔的數(shù)量也正與日俱增，文檔和論文相似度查重也越發(fā)迫在眉睫。文檔的相似度計(jì)量主要是通過(guò)進(jìn)行轉(zhuǎn)換，將其轉(zhuǎn)化成距離、角度或彎曲度等來(lái)度量，從而實(shí)現(xiàn)較好的計(jì)量效果。余弦相似度，一種計(jì)量文檔相似度的常用方法，能較好的反應(yīng)文檔的相似程度。但其本身對(duì)數(shù)量和比重不敏感，這給相似度度量帶來(lái)了不少麻煩。據(jù)2008年不完全統(tǒng)計(jì)，在Internet上有大約40％的網(wǎng)絡(luò)資源跟其他的網(wǎng)絡(luò)資源是重復(fù)的。重復(fù)資源或者近似

2、重復(fù)的資源增加了搜索引擎的索引數(shù)量，并且對(duì)檢索結(jié)果也產(chǎn)生了不小的影響。近似重復(fù)檢測(cè)問(wèn)題在信息檢索領(lǐng)域已經(jīng)是家喻戶(hù)曉了。在這里希望改進(jìn)相似度判別算法以及改進(jìn)爬蟲(chóng)來(lái)實(shí)現(xiàn)避免對(duì)重復(fù)資源的爬取。
　　網(wǎng)絡(luò)資源和網(wǎng)絡(luò)圖表在一定程度上比純文本信息要復(fù)雜的多，在一個(gè)文本文件中，語(yǔ)句順序可以被轉(zhuǎn)換成含義，而網(wǎng)絡(luò)資源不可以被轉(zhuǎn)換成含義，最終，相似語(yǔ)義網(wǎng)絡(luò)資源將擁有復(fù)雜的不同語(yǔ)句順序。同樣的，在基于文本的近似重復(fù)檢測(cè)中，內(nèi)容的含義查重并不是太大的問(wèn)題

3、，但是語(yǔ)義網(wǎng)絡(luò)文檔，這個(gè)問(wèn)題很突出，假設(shè)有兩個(gè)不同的語(yǔ)義網(wǎng)絡(luò)文檔，如果計(jì)算它們的演繹閉包很可能是一樣的。在語(yǔ)義網(wǎng)絡(luò)圖片中，除了語(yǔ)句順序之外，同時(shí)需要驗(yàn)證空節(jié)點(diǎn)?？展?jié)點(diǎn)是不具有URI的匿名資源，并且沒(méi)有文字含義。
　　1998年提出萬(wàn)維網(wǎng)的互聯(lián)網(wǎng)專(zhuān)家蒂姆·伯納斯-李提出了語(yǔ)義網(wǎng)絡(luò)的概念，它現(xiàn)在已經(jīng)發(fā)展成為自然語(yǔ)言理解和認(rèn)知科學(xué)領(lǐng)域研究的一個(gè)概念，用它來(lái)表達(dá)那些復(fù)雜概念及其它們之間的關(guān)系。語(yǔ)義網(wǎng)的表示形式是一個(gè)有向圖，其中點(diǎn)代表概念，

4、邊代表這些概念之間的語(yǔ)義關(guān)系，這樣來(lái)形成一個(gè)由節(jié)點(diǎn)和弧組成的語(yǔ)義網(wǎng)絡(luò)描述圖。蒂姆·伯納斯-李提出了另一個(gè)關(guān)于語(yǔ)義網(wǎng)的概念，那就是我們現(xiàn)在家喻戶(hù)曉的萬(wàn)維網(wǎng)(World Wide Web)，語(yǔ)義網(wǎng)絡(luò)只是其相關(guān)的基礎(chǔ)理論。語(yǔ)義網(wǎng)相比于傳統(tǒng)的互聯(lián)網(wǎng)具有較好的語(yǔ)義判別和交互性。
　　兩個(gè)語(yǔ)義網(wǎng)絡(luò)文檔或者網(wǎng)絡(luò)語(yǔ)圖是相似的，描述它們的不同之處在檢索、更新、版本控制等方面有很大的作用。在本文中，描述了一些列的文本相似度度量方法，用來(lái)表達(dá)它們之間的

5、關(guān)系，并且計(jì)量它們的不同。本研究通過(guò)對(duì)語(yǔ)義網(wǎng)圖進(jìn)行標(biāo)準(zhǔn)化處理、簡(jiǎn)化處理、相似度度量以及分類(lèi)等相關(guān)的操作來(lái)進(jìn)行語(yǔ)義網(wǎng)圖相似度的判別。同時(shí)，為了區(qū)分兩個(gè)語(yǔ)義網(wǎng)圖之間的相似度，定義了一個(gè)變量來(lái)表示它們之間的版本關(guān)系。這個(gè)變量通過(guò)對(duì)其元組進(jìn)行添加和刪除來(lái)保持兩者的平衡，并且此變量是通過(guò)判斷RDF圖表序列化，而不僅僅根據(jù)文檔的URI來(lái)判定兩者之間的相似度。
　　最后，通過(guò)實(shí)驗(yàn)驗(yàn)證了提出了語(yǔ)義網(wǎng)相似度度量具有較好的實(shí)驗(yàn)效果。但是由于時(shí)間比較倉(cāng)