搜索引擎中網(wǎng)頁查重方法的研究.pdf

1、搜索引擎已經(jīng)成為人們獲取信息最主要的途徑。與傳統(tǒng)的獲取信息方式相比，搜索引擎返回的信息更快速、更便捷、更全面。搜索引擎已經(jīng)成為電子時代不可缺少的一部分。但是由于電子信息的特殊性，網(wǎng)絡上有很多重復的信息，即在不同的網(wǎng)頁地址上內容卻是相同的，或者大體一致的。為了提高搜索引擎和用戶檢索的效率，網(wǎng)頁查重的研究是非常必要的。
　　 網(wǎng)頁查重主要包括兩部分，一是對原始網(wǎng)頁的處理，主要是對網(wǎng)頁噪音凈化以及對網(wǎng)頁主題信息的提?。欢菍W(wǎng)頁內容進

2、行查重處理。目前許多研究機構都在進行網(wǎng)頁相似度的研究，也提出了一些相似度檢測的方法，主要有三種類型：url分析、鏈接分析和內容分析。本文首先介紹了已有網(wǎng)頁凈化方法，并詳細介紹了課題研究采用的Jtidy凈化方法。其原理是JTidy被parseDOM方法調用，得到一個xml文檔的InputStream類，并且形成一個DOM樹，再利用標準的DOMAPI方法，使用簡單的語句對DOM進行遍歷，提取文檔特定標簽之間的內容以便建立索引；然后介紹了網(wǎng)頁

3、相似度檢測方法，對現(xiàn)有的方法進行了討論分析，并提出了使用bloomfilter基于內容的檢測相似性的方法。其具體過程是對凈化后的網(wǎng)頁文件，使用CDC進行內容塊的分割，使每個網(wǎng)頁成為許多內容塊的集合。再對各個網(wǎng)頁的內容塊進行hash，得到各個網(wǎng)頁的bloomfilter，并將其保存。通過新增網(wǎng)頁的bloomfilter與已存儲的bloomfilter進行位與操作進行判定，如果達到給定閾值，則判斷為相似網(wǎng)頁;最后介紹了網(wǎng)頁查重的分析與實現(xiàn)，