垃圾網(wǎng)頁(yè)過(guò)濾算法及其在搜索引擎中的應(yīng)用.pdf

1、目前隨著互聯(lián)網(wǎng)規(guī)模的增長(zhǎng)，搜索引擎是從互聯(lián)網(wǎng)獲取信息的重要工具，然而在高速的發(fā)展中，搜索引擎也存在著不足.據(jù)估計(jì)垃圾網(wǎng)頁(yè)可能占到中國(guó)總網(wǎng)頁(yè)數(shù)量的50％左右，雖然總比例在不斷下降，但是垃圾網(wǎng)頁(yè)的絕對(duì)數(shù)還在持續(xù)增加.垃圾網(wǎng)頁(yè)泛指一切不是真為訪客提供有價(jià)值內(nèi)容或者信息為目的，而以欺騙搜索引擎、騙取點(diǎn)擊獲得利益的網(wǎng)頁(yè)，主要指依靠采集工具大量復(fù)制抄襲其他網(wǎng)站內(nèi)容的網(wǎng)頁(yè).由于垃圾網(wǎng)頁(yè)的存在，它們并不考慮自己網(wǎng)頁(yè)的真正質(zhì)量，而通過(guò)各種各樣的方法來(lái)讓自

2、己的網(wǎng)頁(yè)獲得更高的排名，嚴(yán)重影響廣大的用戶在互聯(lián)網(wǎng)上的搜索體驗(yàn)，浪費(fèi)了用戶的有效時(shí)間，大大降低了搜索引擎公司的信譽(yù).因此，在互聯(lián)網(wǎng)中如何區(qū)分垃圾網(wǎng)頁(yè)和高質(zhì)量網(wǎng)頁(yè)以及找出存在的垃圾網(wǎng)頁(yè)是信息技術(shù)急需解決的問(wèn)題.
　　本文工作主要針對(duì)垃圾網(wǎng)頁(yè)的排序算法展開(kāi).目前主流搜索引擎的基本算法是PageRank算法，在PageRank算法中，網(wǎng)頁(yè)的Pr值被平均地分配到它所指向的網(wǎng)頁(yè)，垃圾網(wǎng)頁(yè)也可獲得同樣的Pr值，使得互聯(lián)網(wǎng)無(wú)法有效區(qū)分網(wǎng)頁(yè)質(zhì)量.

3、因此，需要研究好的改進(jìn)方法來(lái)判斷或剔除垃圾網(wǎng)頁(yè).本文針對(duì)垃圾網(wǎng)頁(yè)的過(guò)濾算法進(jìn)行了較深入的探索，主要工作如下:
　　1.為了提高搜索結(jié)果質(zhì)量，必須剔除垃圾網(wǎng)頁(yè)的影響，而PageRank算法很容易受到Web spam的干擾，使搜索結(jié)果精度降低，深入分析了Web spam技術(shù)的不足，提出了一種檢測(cè)垃圾網(wǎng)頁(yè)的算法.首先生成HTML標(biāo)簽樹(shù)，然后深度優(yōu)先遍歷HTML標(biāo)簽樹(shù)，取出第一個(gè)數(shù)據(jù)域的內(nèi)容，判斷是否使用了Spaming技術(shù)，如果使用則判

4、定為垃圾頁(yè)面.如果是隱藏Cloaking所使用的標(biāo)簽(Meta域)，則取出第二個(gè)數(shù)據(jù)域的內(nèi)容與后面對(duì)應(yīng)標(biāo)簽的第二個(gè)數(shù)據(jù)域部分比較，如果不相符則判定為垃圾頁(yè)面.如果是頁(yè)面重定向所使用的標(biāo)簽，則取出第一個(gè)數(shù)據(jù)域部分內(nèi)容，如符合非法重定向標(biāo)準(zhǔn)，則判定為垃圾頁(yè)面.
　　2.提出了一種改進(jìn)的PageRank算法，該算法通過(guò)降低垃圾頁(yè)面的權(quán)值，以避免改進(jìn)前垃圾頁(yè)面的Pr值平均分配的不足，從而使最后搜索結(jié)果排序不公平現(xiàn)象出現(xiàn)，讓垃圾頁(yè)面在鏈接的