垃圾網(wǎng)頁過濾算法及其在搜索引擎中的應用.pdf

1、目前隨著互聯(lián)網(wǎng)規(guī)模的增長，搜索引擎是從互聯(lián)網(wǎng)獲取信息的重要工具，然而在高速的發(fā)展中，搜索引擎也存在著不足.據(jù)估計垃圾網(wǎng)頁可能占到中國總網(wǎng)頁數(shù)量的50％左右，雖然總比例在不斷下降，但是垃圾網(wǎng)頁的絕對數(shù)還在持續(xù)增加.垃圾網(wǎng)頁泛指一切不是真為訪客提供有價值內(nèi)容或者信息為目的，而以欺騙搜索引擎、騙取點擊獲得利益的網(wǎng)頁，主要指依靠采集工具大量復制抄襲其他網(wǎng)站內(nèi)容的網(wǎng)頁.由于垃圾網(wǎng)頁的存在，它們并不考慮自己網(wǎng)頁的真正質(zhì)量，而通過各種各樣的方法來讓自

2、己的網(wǎng)頁獲得更高的排名，嚴重影響廣大的用戶在互聯(lián)網(wǎng)上的搜索體驗，浪費了用戶的有效時間，大大降低了搜索引擎公司的信譽.因此，在互聯(lián)網(wǎng)中如何區(qū)分垃圾網(wǎng)頁和高質(zhì)量網(wǎng)頁以及找出存在的垃圾網(wǎng)頁是信息技術(shù)急需解決的問題.
　　本文工作主要針對垃圾網(wǎng)頁的排序算法展開.目前主流搜索引擎的基本算法是PageRank算法，在PageRank算法中，網(wǎng)頁的Pr值被平均地分配到它所指向的網(wǎng)頁，垃圾網(wǎng)頁也可獲得同樣的Pr值，使得互聯(lián)網(wǎng)無法有效區(qū)分網(wǎng)頁質(zhì)量.

3、因此，需要研究好的改進方法來判斷或剔除垃圾網(wǎng)頁.本文針對垃圾網(wǎng)頁的過濾算法進行了較深入的探索，主要工作如下:
　　1.為了提高搜索結(jié)果質(zhì)量，必須剔除垃圾網(wǎng)頁的影響，而PageRank算法很容易受到Web spam的干擾，使搜索結(jié)果精度降低，深入分析了Web spam技術(shù)的不足，提出了一種檢測垃圾網(wǎng)頁的算法.首先生成HTML標簽樹，然后深度優(yōu)先遍歷HTML標簽樹，取出第一個數(shù)據(jù)域的內(nèi)容，判斷是否使用了Spaming技術(shù)，如果使用則判

4、定為垃圾頁面.如果是隱藏Cloaking所使用的標簽(Meta域)，則取出第二個數(shù)據(jù)域的內(nèi)容與后面對應標簽的第二個數(shù)據(jù)域部分比較，如果不相符則判定為垃圾頁面.如果是頁面重定向所使用的標簽，則取出第一個數(shù)據(jù)域部分內(nèi)容，如符合非法重定向標準，則判定為垃圾頁面.
　　2.提出了一種改進的PageRank算法，該算法通過降低垃圾頁面的權(quán)值，以避免改進前垃圾頁面的Pr值平均分配的不足，從而使最后搜索結(jié)果排序不公平現(xiàn)象出現(xiàn)，讓垃圾頁面在鏈接的