搜索引擎系統(tǒng)網(wǎng)頁(yè)消重的研究與實(shí)現(xiàn).pdf

1、Internet的迅速普及和飛速發(fā)展，使人們面臨著一個(gè)信息的海洋，快速?gòu)闹蝎@得真正重要的信息變得至關(guān)重要。搜索引擎(主要指全文搜索系統(tǒng))即是提供這種功能的一種工具。然而在搜索引擎返回的檢索結(jié)果中，存在大量的重復(fù)網(wǎng)頁(yè)，它們主要來(lái)自網(wǎng)站之間的轉(zhuǎn)載。這些內(nèi)容重復(fù)的網(wǎng)頁(yè)既占用了網(wǎng)絡(luò)帶寬，又浪費(fèi)存儲(chǔ)資源，用戶(hù)不希望看到一堆內(nèi)容相同或近似的檢索結(jié)果，真正有用的結(jié)果往往淹沒(méi)在這些重復(fù)信息之中而不易被發(fā)現(xiàn)。如果能夠有效消除這些重復(fù)網(wǎng)頁(yè)，不但會(huì)提高檢索的

2、準(zhǔn)確率，節(jié)省用戶(hù)的時(shí)間和精力，而且對(duì)搜索系統(tǒng)本身而言可以節(jié)省大量的存儲(chǔ)資源，提高工作效率。 本文主要研究搜索引擎中的網(wǎng)頁(yè)消重問(wèn)題。目前有效的網(wǎng)頁(yè)消重方法還比較少，主要都在服務(wù)器端實(shí)現(xiàn)，即在搜索系統(tǒng)的采集器進(jìn)行網(wǎng)頁(yè)采集的過(guò)程中消除重復(fù)的網(wǎng)頁(yè)。目前使用的方法主要有基于相同URL的方法、基于聚類(lèi)的方法、基于特征碼的方法和基于簽名的方法。其中聚類(lèi)的方法是先將文本基于向量空問(wèn)模型表示為一個(gè)向量，然后再應(yīng)用各種方法來(lái)實(shí)現(xiàn)聚類(lèi)或分類(lèi)。這種方法

3、的向量夾角計(jì)算具有很高的計(jì)算復(fù)雜度因而占用較多的處理時(shí)間。此后提出的基于特征碼的方法具有較高的消重效率，但仍然難以抵抗網(wǎng)頁(yè)轉(zhuǎn)載時(shí)產(chǎn)生的噪聲。 與以往消重工作不同的是，本文將消重工作分為服務(wù)器端和客戶(hù)端兩部分進(jìn)行。在研究了大量重復(fù)網(wǎng)頁(yè)的基礎(chǔ)上，將重復(fù)網(wǎng)頁(yè)的概念進(jìn)一步細(xì)分，分成內(nèi)容完全相同的網(wǎng)頁(yè)和經(jīng)過(guò)適當(dāng)編輯、裁剪等工作后形成的基本相同或相似網(wǎng)頁(yè)，并分別在搜索系統(tǒng)的服務(wù)器端和客戶(hù)端進(jìn)行這兩種不同類(lèi)型網(wǎng)頁(yè)的消重工作。 在以上研

4、究工作的基礎(chǔ)上提出了一種基于網(wǎng)頁(yè)內(nèi)容特征串的新方法來(lái)解決服務(wù)器端的網(wǎng)頁(yè)消重問(wèn)題。該方法充分利用了網(wǎng)頁(yè)的結(jié)構(gòu)特征，采取主碼和輔碼相結(jié)合的方式來(lái)標(biāo)識(shí)網(wǎng)頁(yè)文本。主碼用來(lái)標(biāo)識(shí)網(wǎng)頁(yè)文本的段落結(jié)構(gòu)信息，輔碼用來(lái)標(biāo)識(shí)網(wǎng)頁(yè)文本的內(nèi)容信息。本文采用對(duì)主碼進(jìn)行聚類(lèi)，對(duì)相應(yīng)類(lèi)別的輔碼進(jìn)行匹配的策略，提高了消重的準(zhǔn)確率和效率。實(shí)驗(yàn)證明該方法具有比較理想的消重效果。 為了實(shí)現(xiàn)搜索系統(tǒng)的智能化和個(gè)性化定制功能，本文在服務(wù)器端消重的基礎(chǔ)上，又在客戶(hù)端提出了智

5、能代理模型。在此基礎(chǔ)上，分析了新聞?lì)惥W(wǎng)頁(yè)的重復(fù)特點(diǎn)，提出了適用于客戶(hù)端的基于關(guān)鍵詞上下文匹配的網(wǎng)頁(yè)消重新算法。該算法利用新聞?lì)惥W(wǎng)頁(yè)轉(zhuǎn)載率高、重復(fù)率高的特征，考慮到用戶(hù)搜索關(guān)鍵詞一般可以表征其所希望獲得的網(wǎng)頁(yè)，使用用戶(hù)提交關(guān)鍵詞的上下文來(lái)構(gòu)成匹配串，對(duì)各匹配串進(jìn)行比較來(lái)實(shí)現(xiàn)網(wǎng)頁(yè)消重。該算法采用模糊匹配的思想來(lái)抵抗網(wǎng)頁(yè)噪聲，引入可以根據(jù)需要進(jìn)行調(diào)整的模糊因子和重疊因子等參數(shù)，得到了滿(mǎn)意的消重效果。 本文為了驗(yàn)證所提出算法的有效性并比