基于頁面結(jié)構(gòu)的作弊站點識別.pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展，網(wǎng)絡(luò)信息呈現(xiàn)爆炸式的增長，搜索引擎成為用戶獲取信息的主要途徑。能否在搜索引擎的排名中占有比較靠前的位置，將在一定程度上決定網(wǎng)頁的訪問量。一些網(wǎng)站為了提高自己在搜索引擎中的排名，并不是通過提高網(wǎng)頁質(zhì)量，而是根據(jù)搜索引擎自身的特點，采用欺騙手段來提高排名，這就是網(wǎng)頁作弊。網(wǎng)頁作弊技術(shù)具有多樣性、隱蔽性、進化性等特點，是搜索引擎面臨的重大挑戰(zhàn)之一。在網(wǎng)頁作弊中，一種極具代表性的作弊方式是利用相同頁面模板結(jié)構(gòu)，通過填充不同

2、的作弊內(nèi)容，產(chǎn)生眾多外觀相似的作弊站。由于模板統(tǒng)一，可以統(tǒng)一管理，降低成本，該作弊方式被廣泛使用。這類垃圾的特點是它們的網(wǎng)頁視覺結(jié)構(gòu)特征完全相同，一般由同一站長制作，常常伴隨著附件作弊、夾雜、關(guān)鍵詞堆砌等作弊手段。目前，檢測此類作弊手段的主要方法是基于網(wǎng)頁內(nèi)容信息，判斷網(wǎng)頁中是否含有色情詞或者賭博詞，是否含有堆砌關(guān)鍵詞等。這種方式存在以下兩個問題:1.準確率低。色情賭博網(wǎng)頁并不都是垃圾作弊網(wǎng)頁，僅識別色情賭博會將色情賭博好站誤判為垃圾頁

3、面。2.效率低下。同模板下的作弊頁面數(shù)以百計，單純的識別每條網(wǎng)頁會使得工作量較大，重復(fù)性工作較多。為了批量解決此類垃圾，本文首先分析了瀏覽器渲染網(wǎng)頁的過程和網(wǎng)頁的HTML結(jié)構(gòu)，提出了兩種模板的定義方式，分別為結(jié)構(gòu)為主的模板(DBT:DomBiasedTemplate)和樣式為主的模板(CBT:CssBasedTemplate)?；趦煞N的模板定義方式分別設(shè)計了模板抽取算法，抽取出站點的模板結(jié)構(gòu)作為站點的指紋特征。并以準確率和召回率作為評

4、測指標，驗證了兩種模板定義方式的有效性。通過對兩種模板抽取算法的性能比較發(fā)現(xiàn)，DBT在召回率上比CBT更高，而CBT在準確率上優(yōu)于DBT。然后，本文采用了DBT算法來計算模板的指紋特征。為了識別出作弊模板站點，首先根據(jù)每個站點的模板指紋對不同站點做了同質(zhì)聚類，將含有相同的模板指紋的站點聚為一個模板簇。為了提高識別模板站點的準確率，本文提出了基于用戶行為特征的優(yōu)質(zhì)頁面挖掘方法，提出了用戶訪問忠誠度，訪問深度等用戶行為特征，利用歷史封禁數(shù)據(jù)