基于主題與語(yǔ)義的作弊網(wǎng)頁(yè)檢測(cè)方法研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)絡(luò)中的信息量呈爆炸式增長(zhǎng)，互聯(lián)網(wǎng)已經(jīng)成為人們獲取信息的最主要渠道之一。作為信息檢索過程中不可缺少的重要工具，搜索引擎在給人們帶來(lái)便利的同時(shí)，也給用戶帶來(lái)了潛在的安全隱患。網(wǎng)頁(yè)作弊(Web Spam)是一種通過不正當(dāng)方式來(lái)誤導(dǎo)搜索引擎，從而向用戶提供不良信息的行為，其嚴(yán)重影響用戶的上網(wǎng)體驗(yàn)，給用戶帶來(lái)了安全隱患，同時(shí)也影響著搜索引擎的性能。如何對(duì)作弊網(wǎng)頁(yè)進(jìn)行識(shí)別與過濾，提供高質(zhì)量的搜索結(jié)果，已成為現(xiàn)代搜索引擎的巨大

2、挑戰(zhàn)之一。
　　本文的主要研究?jī)?nèi)容以及研究成果包括:
　　(1)研究網(wǎng)頁(yè)作弊的相關(guān)原理及技術(shù)。對(duì)搜索引擎相關(guān)原理進(jìn)行分析，并研究了搜索結(jié)果排序原理，如TFIDF模型與PageRank等算法;結(jié)合搜索引擎結(jié)果排序原理，分析作弊網(wǎng)頁(yè)的特點(diǎn)，研究作弊原理以及相關(guān)技術(shù);根據(jù)常見的網(wǎng)頁(yè)作弊手段，研究對(duì)應(yīng)的反作弊方法。
　　(2)提出了一種基于主題與語(yǔ)義的作弊網(wǎng)頁(yè)檢測(cè)方法。對(duì)主題模型與語(yǔ)義分析原理進(jìn)行分析;研究作弊網(wǎng)頁(yè)在主題與語(yǔ)義

3、方面的特點(diǎn)，提出基于主題與語(yǔ)義的檢測(cè)特征;對(duì)網(wǎng)頁(yè)內(nèi)容進(jìn)行主題建模與語(yǔ)義分析，提取相關(guān)特征;構(gòu)建分類器對(duì)作弊網(wǎng)頁(yè)進(jìn)行分類識(shí)別。
　　(3)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于主題與語(yǔ)義的作弊網(wǎng)頁(yè)檢測(cè)系統(tǒng)。構(gòu)建網(wǎng)絡(luò)爬蟲程序，實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)網(wǎng)頁(yè)的抓取;對(duì)網(wǎng)頁(yè)進(jìn)行分析與處理，進(jìn)行主題建模，提取相關(guān)特征，構(gòu)建檢測(cè)樣本;構(gòu)建機(jī)器學(xué)習(xí)分類器，對(duì)網(wǎng)頁(yè)進(jìn)行分類檢測(cè)，并展示結(jié)果。
　　(4)設(shè)計(jì)實(shí)驗(yàn)對(duì)本文提出的基于主題與語(yǔ)義的作弊網(wǎng)頁(yè)檢測(cè)方法的可行性進(jìn)行驗(yàn)證。實(shí)