基于TrustRank的垃圾網(wǎng)頁檢測算法研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡(luò)信息量不斷增加，垃圾網(wǎng)頁也逐漸增多，這極大影響搜索引擎的精度和效率，如何在海量信息中尋找到高質(zhì)量的搜索結(jié)果，以滿足用戶需求變得越來越重要。如何辨別垃圾網(wǎng)頁已成為互聯(lián)網(wǎng)和搜索引擎面臨的最嚴(yán)峻的挑戰(zhàn)之一。
　　搜索引擎作弊分為兩大類，鏈接作弊和內(nèi)容作弊。一方面垃圾網(wǎng)頁鏈接到高信任值網(wǎng)頁以提高自身排名，另一方面網(wǎng)頁采用堆砌關(guān)鍵字等內(nèi)容作弊方法以提高網(wǎng)頁間內(nèi)容的相似度。論文將垃圾網(wǎng)頁檢測算法轉(zhuǎn)化為對網(wǎng)頁評分與排序

2、，算法基于搜索引擎的作弊特點(diǎn)，對基于網(wǎng)頁質(zhì)量的TrustRank算法分別從鏈接和內(nèi)容兩方面進(jìn)行優(yōu)化。論文主要工作如下:
　　(1)闡述國內(nèi)外研究現(xiàn)狀，提出當(dāng)前算法本身存在的問題:現(xiàn)有基于鏈接的檢測方法多是依照原有鏈接拓?fù)溥M(jìn)行計(jì)算，而忽略垃圾鏈接存在的可能性;針對這個(gè)問題，論文首先根據(jù)網(wǎng)頁內(nèi)容抽取特征屬性組成向量，通過分析相鄰網(wǎng)頁間特征向量的相似程度為鏈接評分，之后對比鏈接評分與網(wǎng)頁訪問量識別垃圾鏈接，并且重新為正常鏈接設(shè)置權(quán)重，以

3、此重構(gòu)網(wǎng)絡(luò)鏈接拓?fù)洹?br>　　(2)優(yōu)化TrustRank算法。傳統(tǒng)TrustRank算法基于向下隨機(jī)游走模型，支持信息的后向傳播性，即網(wǎng)頁A鏈接到網(wǎng)頁B，A是否是垃圾網(wǎng)頁直接影響網(wǎng)頁B的評分。論文優(yōu)化TrustRank算法，提出一種基于雙向隨機(jī)游走模型的Two Direction Rank(TDRank)算法，算法使得網(wǎng)頁A與網(wǎng)頁B的評分相互影響，從而避免垃圾網(wǎng)頁由于引用過多高質(zhì)量網(wǎng)頁而得到高信任值的情況。同時(shí)，論文嘗試研究其它簡單