基于內(nèi)容的spam檢測(cè)算法研究及改進(jìn).pdf

1、隨著網(wǎng)絡(luò)的資源的海量增長(zhǎng)，網(wǎng)絡(luò)信息中存在大量的spam網(wǎng)頁(yè)，也叫欺騙性網(wǎng)頁(yè)。spam網(wǎng)頁(yè)對(duì)于用戶來(lái)說都是垃圾網(wǎng)頁(yè)，毫無(wú)價(jià)值而言。spam網(wǎng)頁(yè)主要欺騙搜索引擎以提高自己在搜索結(jié)果中的排名，網(wǎng)頁(yè)中夾雜著大量欺騙性網(wǎng)頁(yè)嚴(yán)重影響了搜索引擎的質(zhì)量，也給用戶增加了巨大的負(fù)擔(dān)。如何消除spam已經(jīng)成為搜索引擎中的一個(gè)巨大挑戰(zhàn)，研究spam有一定的現(xiàn)實(shí)意義。
　　 本文詳細(xì)研究了Web spam檢測(cè)技術(shù)。根據(jù)spam制作的方式不同將spam分為

2、基于內(nèi)容、基于鏈接和基于隱藏三種制作分類，并對(duì)這三種分類根據(jù)其特點(diǎn)進(jìn)行了詳細(xì)的講解?；趦?nèi)容的檢測(cè)算法主要是Alexandros Ntoulas算法；基于鏈接的檢測(cè)算法主要是TrustRank算法、HillTop算法和BadRank算法；基于隱藏的檢測(cè)算法有一定的難度，目前還沒有比較經(jīng)典的算法。在本論文中對(duì)這些算法有一定的介紹，而對(duì)基于內(nèi)容的Anti-spam檢測(cè)算法做了深入研究?；趦?nèi)容的Alexandros Ntoulas檢測(cè)算法主

3、要利用網(wǎng)頁(yè)內(nèi)容的多種特征進(jìn)行spam檢測(cè)，諸如URL長(zhǎng)度、標(biāo)題的單詞數(shù)、單詞的平均長(zhǎng)度、網(wǎng)頁(yè)壓縮率等等，但是在對(duì)特征進(jìn)行分析的時(shí)候，該算法有時(shí)候具有一定的片面性，有其不足之處，為此本文在此算法的基礎(chǔ)上加入了Meta標(biāo)簽、方差和Zipf定律，從這三個(gè)方面在一定的程度上對(duì)Alexandros Ntoulas算法進(jìn)行有效的改進(jìn)。本文詳細(xì)分析了Meta標(biāo)簽、方差和Zipf定律。Meta標(biāo)簽的重要性是html語(yǔ)言標(biāo)記中僅次于Title標(biāo)簽，spa

4、m的制作者在Meta標(biāo)簽中充斥大量關(guān)鍵字欺騙搜索引擎。方差主要從網(wǎng)頁(yè)內(nèi)容的平衡角度考慮，而Zipf定律是一般的自然規(guī)律，本文就將它們引入Alexandros Ntoulas算法中，作為spam檢測(cè)的三個(gè)啟發(fā)式，并利用C4.5算法將所有的spam檢測(cè)的啟發(fā)式組合起來(lái)建立一個(gè)決策樹，然后利用十折交叉驗(yàn)證檢測(cè)算法的有效性，進(jìn)行相關(guān)實(shí)驗(yàn)，最后實(shí)驗(yàn)結(jié)果顯示改進(jìn)算法具有良好的效果。spam檢測(cè)的最終目的是應(yīng)用于搜索引擎中，所以在本文的第四章，將改進(jìn)