基于內(nèi)容的搜索引擎網(wǎng)頁去重研究.pdf

1、隨著信息時(shí)代的發(fā)展，網(wǎng)絡(luò)信息在社會(huì)生活中的價(jià)值越來越大，網(wǎng)絡(luò)已成為人們發(fā)布和獲取信息的重要渠道，各種信息資源的數(shù)量也呈爆炸式增長(zhǎng)，受信息需求驅(qū)動(dòng)而出現(xiàn)的搜索引擎業(yè)已成為網(wǎng)絡(luò)用戶獲得信息的重要手段。然而，在數(shù)以億計(jì)的網(wǎng)頁中，存在著規(guī)模龐大的內(nèi)容重復(fù)網(wǎng)頁，主要來自于網(wǎng)頁轉(zhuǎn)載，有些是完全相同，有些是部分相同的。這些冗余的網(wǎng)頁給搜索引擎帶來很大的負(fù)擔(dān)，嚴(yán)重影響著搜索引擎的性能和用戶的體驗(yàn)。因此，為了提高檢索質(zhì)量，重復(fù)網(wǎng)頁檢測(cè)和消除已經(jīng)成為搜索引

2、擎無法回避的問題，網(wǎng)頁去重也因此成為了信息檢索領(lǐng)域中的一個(gè)熱點(diǎn)領(lǐng)域。
　　 網(wǎng)頁查重分為兩個(gè)部分：一是網(wǎng)頁的預(yù)處理，包括網(wǎng)頁格式的轉(zhuǎn)換、噪聲去除和提取出正文內(nèi)容；二是基于網(wǎng)頁內(nèi)容進(jìn)行去重處理。國(guó)內(nèi)外已有的去重算法主要有一下幾種：基于URL去重、基于語法去重和基于語義去重。
　　 本文首先介紹了國(guó)內(nèi)外的網(wǎng)頁凈化研究現(xiàn)狀，對(duì)已有的算法進(jìn)行了簡(jiǎn)要的分析，進(jìn)而提出了基于標(biāo)記窗的網(wǎng)頁正文提取算法。其主要原理是用DOM將網(wǎng)頁表示成一

3、顆標(biāo)簽樹，再遍歷DOM樹，去除鏈接、圖片和腳本等噪音之后，將每一層的容器標(biāo)簽和其中的文本作為標(biāo)記窗析取出來，根據(jù)文本的語法特點(diǎn)賦予標(biāo)記窗權(quán)值，取權(quán)值最大者。
　　 然后，本文系統(tǒng)綜述了國(guó)內(nèi)外已有的去重算法，提出了基于大段落和長(zhǎng)句的網(wǎng)頁去重算法，算法中使用BloomFilter進(jìn)行相似性判斷，并且提出了一套新的相似度度量指標(biāo)。具體過程是對(duì)提取出來的正文，從符合條件的大段落中提取出長(zhǎng)句子，并且截取長(zhǎng)句子兩端各L個(gè)字符組成特征碼；將網(wǎng)