基于正文結(jié)構(gòu)和長(zhǎng)句提取的網(wǎng)頁(yè)去重研究.pdf

1、研究表明，近似鏡像網(wǎng)頁(yè)數(shù)占總網(wǎng)頁(yè)數(shù)的比例高達(dá)29％，而完全相同的頁(yè)面大約占22％。根據(jù)CNNIC 2005年7月發(fā)布的統(tǒng)計(jì)報(bào)告，用戶在回答“檢索信息時(shí)遇到的最大問題”這一提問時(shí)，選擇“重復(fù)信息太多”這一選項(xiàng)的占44.6％，排名問題榜的第1位。如果搜索引擎能夠找出這些重復(fù)網(wǎng)頁(yè)并從數(shù)據(jù)庫(kù)中去掉，不僅可以節(jié)省存儲(chǔ)空間，也可以提高有效網(wǎng)頁(yè)的收集速度，還可以根據(jù)網(wǎng)頁(yè)的鏡像度來(lái)制定更為合理的網(wǎng)頁(yè)搜集策略和輸出結(jié)果定序(Ranking)算法。因而，如

2、何快速準(zhǔn)確地發(fā)現(xiàn)這些內(nèi)容上相似的網(wǎng)頁(yè)已經(jīng)成為提高搜索引擎服務(wù)質(zhì)量的關(guān)鍵技術(shù)之一。
　　 通過分析大量重復(fù)網(wǎng)頁(yè)，本文發(fā)現(xiàn)重復(fù)網(wǎng)頁(yè)有以下兩個(gè)特征：
　　 ①重復(fù)網(wǎng)頁(yè)的正文可以表示成一棵正文結(jié)構(gòu)樹。其中標(biāo)題為根結(jié)點(diǎn)，每個(gè)自然段按照其在正文結(jié)構(gòu)中所處的層次表示為樹相應(yīng)層次的一個(gè)結(jié)點(diǎn)。
　　 ②重復(fù)網(wǎng)頁(yè)的正文內(nèi)容很可能有所變化，但網(wǎng)頁(yè)的正文結(jié)構(gòu)形式通常不會(huì)改變或改變很小。即使最壞情況的分頁(yè)轉(zhuǎn)載形式，網(wǎng)頁(yè)的正文結(jié)構(gòu)也不會(huì)發(fā)生

3、較大變化，只不過分頁(yè)轉(zhuǎn)載后的網(wǎng)頁(yè)正文結(jié)構(gòu)樹是其原文正文結(jié)構(gòu)樹的一（幾）棵子樹分支。
　　 針對(duì)網(wǎng)頁(yè)重復(fù)的特點(diǎn)和網(wǎng)頁(yè)正文的結(jié)構(gòu)特征，本文提出了一種動(dòng)態(tài)的、層次的、魯棒性強(qiáng)的網(wǎng)頁(yè)去重算法。該方法先對(duì)網(wǎng)頁(yè)進(jìn)行必要的去噪處理，其次將網(wǎng)頁(yè)正文通過正文結(jié)構(gòu)樹生成算法表示成一棵正文結(jié)構(gòu)樹（除根節(jié)點(diǎn)外，正文結(jié)構(gòu)樹的結(jié)點(diǎn)對(duì)應(yīng)于正文中的自然段），然后動(dòng)態(tài)地、層次地從樹中抽取結(jié)點(diǎn)段落作為長(zhǎng)句提取算法的輸入得到層次指紋，最后通過層次指紋的相似度計(jì)算算法

4、得到網(wǎng)頁(yè)的相似度，從而實(shí)現(xiàn)鏡像網(wǎng)頁(yè)和近似鏡像網(wǎng)頁(yè)的檢測(cè)。動(dòng)態(tài)地、分層地對(duì)正文進(jìn)行特征抽取和層次指紋計(jì)算，保證了去重算法的效率；通過長(zhǎng)句提取算法得到結(jié)點(diǎn)指紋，保證了算法的魯棒性。
　　 實(shí)驗(yàn)表明，該方法相對(duì)于基于自然段簽名算法和基于長(zhǎng)句提取算法有更好的召回率。該方法不僅解決了在正文前后添刪信息的近似鏡像網(wǎng)頁(yè)，也解決了在正文中添刪信息的近似鏡像網(wǎng)頁(yè)，還解決了分頁(yè)轉(zhuǎn)載的近似鏡像網(wǎng)頁(yè)。此方法在搜索引擎重復(fù)網(wǎng)頁(yè)的過濾中有很好的應(yīng)用前景和較