基于文本結(jié)構(gòu)的近似鏡像網(wǎng)頁去重.pdf

1、1998年，世界上第一個搜索引擎系統(tǒng)GOOGLE在其誕生之初，就以超強的實用性贏得了廣大網(wǎng)民的使用熱情，其準確、快速的網(wǎng)絡導航性，往往能使人們在第一時間找到自己所要的信息。但是，近年來，隨著互聯(lián)網(wǎng)上信息的急劇膨脹，現(xiàn)有搜索引擎的一些不完善性也逐漸暴露出來，開始越來越讓人無法忍受，其中最嚴重的就是返回結(jié)果中經(jīng)常包含有大量的重復網(wǎng)頁，人們將其稱為近似鏡像網(wǎng)頁。這些網(wǎng)頁的內(nèi)容有的是一字不拉的完全重復，有的只是其中一部分重復。近似鏡像網(wǎng)頁存在的

2、主要原因是網(wǎng)絡上的非法復制。對搜索引擎系統(tǒng)本身來說，這些近似鏡像網(wǎng)頁的存在極大得浪費了寶貴的存儲資源，降低了索引效率。對用戶來說，這些網(wǎng)頁是毫無意義的，但是卻不得不花費時間去瀏覽它們，而它們的存在本身也是對知識產(chǎn)權(quán)的一種侵犯。因此，準確、快速的去除近似鏡像網(wǎng)頁，不僅對搜索引擎的深遠發(fā)展來說是一項必不可少的措施，而且對知識產(chǎn)權(quán)也是一個有力保護。
　　近年來，不斷的有學者提出一些近似鏡像網(wǎng)頁去重的方法，這些方法對內(nèi)容完全重復的近似鏡像

3、網(wǎng)頁的去重效果都相當不錯，但是對內(nèi)容部分重復的近似鏡像網(wǎng)頁的去重效果卻差強人意。
　　在本文中，我們依據(jù)網(wǎng)頁重復的特征，充分利用網(wǎng)頁文本自身的特點，提出了一種動態(tài)的近似鏡像網(wǎng)頁去重方法。該方法首先分析各種網(wǎng)頁的正文結(jié)構(gòu)表現(xiàn)形式，對現(xiàn)有的網(wǎng)頁正文結(jié)構(gòu)表現(xiàn)形式進行分類;然后對每篇網(wǎng)頁根據(jù)其結(jié)構(gòu)表現(xiàn)形式將其正文表示成正文結(jié)構(gòu)樹的形式;最后通過從正文結(jié)構(gòu)樹中動態(tài)的提取特征來進行相似度計算，從而實現(xiàn)近似鏡像網(wǎng)頁的檢測與去重。本文在大量實驗和

4、真實數(shù)據(jù)分析的基礎(chǔ)上，得到了如下研究成果和結(jié)論:
　　1.通過人工分析各種網(wǎng)頁的正文結(jié)構(gòu)表現(xiàn)形式，將其分為四大類，其中又包含各種小類。對每一類表現(xiàn)形式，都提出了相應的段落權(quán)值分配方法。
　　2.將網(wǎng)頁的正文表示成正文結(jié)構(gòu)樹的形式，并提出了由網(wǎng)頁正文向正文結(jié)構(gòu)樹轉(zhuǎn)化的算法。
　　3.提出了動態(tài)提取文本特征進行相似度計算的文本復制監(jiān)測方法，并提出了層次指紋的相似度計算算法。
　　4.用大量網(wǎng)頁對本文提出的方法的性能進