基于內容的搜索引擎網頁去重研究.pdf

1、隨著信息時代的發(fā)展，網絡信息在社會生活中的價值越來越大，網絡已成為人們發(fā)布和獲取信息的重要渠道，各種信息資源的數量也呈爆炸式增長，受信息需求驅動而出現的搜索引擎業(yè)已成為網絡用戶獲得信息的重要手段。然而，在數以億計的網頁中，存在著規(guī)模龐大的內容重復網頁，主要來自于網頁轉載，有些是完全相同，有些是部分相同的。這些冗余的網頁給搜索引擎帶來很大的負擔，嚴重影響著搜索引擎的性能和用戶的體驗。因此，為了提高檢索質量，重復網頁檢測和消除已經成為搜索引

2、擎無法回避的問題，網頁去重也因此成為了信息檢索領域中的一個熱點領域。
　　 網頁查重分為兩個部分：一是網頁的預處理，包括網頁格式的轉換、噪聲去除和提取出正文內容；二是基于網頁內容進行去重處理。國內外已有的去重算法主要有一下幾種：基于URL去重、基于語法去重和基于語義去重。
　　 本文首先介紹了國內外的網頁凈化研究現狀，對已有的算法進行了簡要的分析，進而提出了基于標記窗的網頁正文提取算法。其主要原理是用DOM將網頁表示成一

3、顆標簽樹，再遍歷DOM樹，去除鏈接、圖片和腳本等噪音之后，將每一層的容器標簽和其中的文本作為標記窗析取出來，根據文本的語法特點賦予標記窗權值，取權值最大者。
　　 然后，本文系統(tǒng)綜述了國內外已有的去重算法，提出了基于大段落和長句的網頁去重算法，算法中使用BloomFilter進行相似性判斷，并且提出了一套新的相似度度量指標。具體過程是對提取出來的正文，從符合條件的大段落中提取出長句子，并且截取長句子兩端各L個字符組成特征碼；將網