Web Spam檢測(cè)及網(wǎng)頁(yè)排序算法的研究.pdf

1、Web Spam是一種不考慮網(wǎng)頁(yè)的真正價(jià)值，卻有意實(shí)施不公正的相關(guān)性或重要性的排名行為。它的出現(xiàn)不但威脅到搜索引擎的公正排名，同時(shí)還嚴(yán)重影響用戶的搜索體驗(yàn)。如何通過(guò)分類來(lái)檢測(cè) Web Spam，以及如何通過(guò)網(wǎng)頁(yè)排序得到內(nèi)容相關(guān)的網(wǎng)頁(yè)已成為目前的研究熱點(diǎn)。本文針對(duì) Web Spam分類和網(wǎng)頁(yè)排序算法進(jìn)行了深入的研究。主要工作如下：
　　第一，首先分析了內(nèi)容特征屬性和鏈接特征屬性對(duì) Web Spam的影響，針對(duì)單純利用內(nèi)容或鏈接作為特

2、征屬性分類的不足，提出了一種新的特征屬性。該特征屬性基于網(wǎng)頁(yè)內(nèi)容和鏈接之間的關(guān)系，通過(guò)計(jì)算兩個(gè)網(wǎng)頁(yè)中不同元素的相似度來(lái)獲得。然后，將內(nèi)容特征屬性、鏈接特征屬性和新特征屬性融合產(chǎn)生一種新的分類特征屬性。最后，根據(jù)Web Spam數(shù)據(jù)集不平衡的特點(diǎn)，將代價(jià)敏感方法與決策樹算法C4.5結(jié)合用于Web Spam分類。通過(guò)數(shù)據(jù)集 WebSpam-UK2007進(jìn)行實(shí)驗(yàn)，分類結(jié)果優(yōu)于決策樹算法C4.5，驗(yàn)證了該分類算法的可行性和有效性。
　　第