偽裝型垃圾網(wǎng)頁檢測技術(shù)的研究與實(shí)現(xiàn).pdf

1、現(xiàn)如今，互聯(lián)網(wǎng)的發(fā)展突飛猛進(jìn)，遍布日常生活中的各個角落，給人們的生活帶來了巨大的便利。而如何在互聯(lián)網(wǎng)的汪洋大海中獲取用戶想要的信息，搜索引擎無疑是一個方便可靠的工具。然而，一些人通過不正當(dāng)手段提高其頁面在搜索引擎中的排名以達(dá)到他們惡意或非法盈利的目的。學(xué)者們將這種類型的網(wǎng)頁統(tǒng)稱為垃圾網(wǎng)頁。本文重點(diǎn)研究偽裝型垃圾網(wǎng)頁，這類網(wǎng)頁隱蔽性強(qiáng)，采用多副本方式進(jìn)行欺詐。本文將采用相似性度量和分類相結(jié)合的方法對這種類型的垃圾網(wǎng)頁進(jìn)行檢測。
　　

2、本文綜述了國內(nèi)外學(xué)者目前對偽裝型垃圾網(wǎng)頁檢測技術(shù)的研究，詳細(xì)分析了偽裝型垃圾網(wǎng)頁形成原因和作弊方式。另外還綜述了國內(nèi)外學(xué)者對網(wǎng)頁文本相似性度量技術(shù)的研究，詳細(xì)介紹了計算文本相似度的各類方法，以便為實(shí)現(xiàn)偽裝型垃圾網(wǎng)頁檢測提供理論基礎(chǔ)。
　　本文根據(jù)偽裝網(wǎng)頁欺詐方式以及網(wǎng)頁文本相似性度量方法，提出一套基于相似性度量和分類相結(jié)合的偽裝型垃圾網(wǎng)頁檢測方案。在相似性度量模塊，重點(diǎn)利用基于LDA(Latent Dirichlet Alloca