搜索引擎中近似鏡像網(wǎng)頁去重研究.pdf

1、在互聯(lián)網(wǎng)發(fā)展的初期,網(wǎng)頁數(shù)量相對較少,用戶查找信息比較容易。伴隨著互聯(lián)網(wǎng)爆炸性的發(fā)展,網(wǎng)絡(luò)用戶想找到所需的信息簡直如同大海撈針,面對海量而又快速更新的網(wǎng)絡(luò)信息,如何快速準(zhǔn)確地找到自己需要的信息就變得越來越重要了。為使網(wǎng)絡(luò)用戶搜索信息速度更加快捷和準(zhǔn)確,專門在互聯(lián)網(wǎng)上執(zhí)行信息檢索任務(wù)的搜索引擎技術(shù)應(yīng)運而生,極大地改變了人們的工作和生活方式。
　　 但用戶在搜索信息的時候常常會發(fā)現(xiàn),在返回結(jié)果中存在大量重復(fù)信息,嚴(yán)重影響了搜索引擎檢

2、索的效果。無論是對于搜索引擎還是網(wǎng)絡(luò)用戶來說,重復(fù)網(wǎng)頁都是非常有害。對于搜索引擎來說,會引起存儲資源的浪費,對于檢索用戶來說,降低了用戶對搜索引擎服務(wù)效果的滿意程度,同時不利于維護網(wǎng)絡(luò)原創(chuàng)的熱情。為提高搜索引擎的檢索效率,減輕用戶獲取有效信息的時間和成本,快速地甄別和去除重復(fù)網(wǎng)頁是一個非常有效的途徑。
　　 本文在已有技術(shù)的基礎(chǔ)上,針對現(xiàn)有網(wǎng)頁去重算法的不足和網(wǎng)頁正文的結(jié)構(gòu)特征,對基于網(wǎng)頁結(jié)構(gòu)的去重算法進行了改進。研究內(nèi)容主要包

3、括:
　　 首先,本文介紹了網(wǎng)頁去重的前期工作,包括網(wǎng)頁去噪和中文分詞。在分析現(xiàn)有網(wǎng)頁去噪算法的基礎(chǔ)上,為能夠有效地消除網(wǎng)頁噪音,準(zhǔn)確提取出主題型網(wǎng)頁中的正文信息,本文提出了一種基于網(wǎng)頁標(biāo)簽樹來模板化提取網(wǎng)頁正文的方法。通過構(gòu)造網(wǎng)頁標(biāo)簽樹,定義具有最多子結(jié)點的結(jié)點所形成的子樹標(biāo)記網(wǎng)頁正文信息。對算法流程及算法實現(xiàn)進行了闡述。然后介紹了中文分詞的基礎(chǔ)知識,并將中科院開發(fā)的中文分詞系統(tǒng)ICTCLAS用于后續(xù)的關(guān)鍵詞分析和邏輯段落劃分

4、。
　　 其次,本文分析國內(nèi)外經(jīng)典的的網(wǎng)頁去重算法,闡述了算法的基本思想,并對各種算法的優(yōu)勢和缺點進行了分析。
　　 最后,在分析基于網(wǎng)頁正文結(jié)構(gòu)去重算法的基礎(chǔ)上,對其不足之處進行改進,提出了基于網(wǎng)頁正文邏輯段落和長句提取的去重算法,該方法以用戶查詢關(guān)鍵詞為基礎(chǔ),通過用戶檢索關(guān)鍵詞將網(wǎng)頁正文物理段落結(jié)構(gòu)表示成邏輯段落,在此基礎(chǔ)上提取邏輯段落中的長旬作為網(wǎng)頁特征碼實現(xiàn)相似網(wǎng)頁判斷,并進行實驗驗證,試驗表明,該方法可以有效地