基于陷阱技術(shù)的web robot檢測(cè)方法研究.pdf

1、Web robot(網(wǎng)絡(luò)爬蟲(chóng))作為一種網(wǎng)絡(luò)資源獲取程序，在廣泛應(yīng)用于信息搜索的同時(shí)，也帶來(lái)了一些負(fù)面影響。Robot對(duì)網(wǎng)站資源的集中獲取導(dǎo)致網(wǎng)絡(luò)流量增加，使網(wǎng)站響應(yīng)性能下降；Robot對(duì)網(wǎng)站的訪(fǎng)問(wèn)嚴(yán)重影響基于日志的各種數(shù)據(jù)挖掘工作的結(jié)果；惡意robot會(huì)造成隱私數(shù)據(jù)泄漏、資源濫用、點(diǎn)擊欺騙等問(wèn)題。因此出現(xiàn)大量robot檢測(cè)技術(shù)對(duì)robot進(jìn)行檢測(cè)，并在必要的時(shí)候屏蔽其對(duì)網(wǎng)站的訪(fǎng)問(wèn)。
　　本文介紹了現(xiàn)有的robot檢測(cè)技術(shù)，并對(duì)他們

2、所采用的方法、技術(shù)和優(yōu)缺點(diǎn)做了詳細(xì)的論述。介紹了陷阱技術(shù)在robot檢測(cè)中的應(yīng)用現(xiàn)狀，針對(duì)陷阱檢測(cè)中陷阱設(shè)置策略簡(jiǎn)單、缺乏相應(yīng)理論和模型支持等問(wèn)題，提出了一種新的robot檢測(cè)模型--基于陷阱技術(shù)的robot檢測(cè)模型。
　　基于陷阱技術(shù)的檢測(cè)模型，采用隱藏鏈接來(lái)捕獲robot，可移植性強(qiáng)，可方便的布設(shè)到需要進(jìn)行robot檢測(cè)的網(wǎng)站中。陷阱檢測(cè)模型和其它檢測(cè)技術(shù)一樣不但具有常規(guī)robot的檢測(cè)能力，而且由于陷阱的特殊森林結(jié)構(gòu)，使其具

3、有分布式robot的檢測(cè)和區(qū)分能力，與其他檢測(cè)技術(shù)相比，體現(xiàn)了陷阱技術(shù)的優(yōu)越性。
　　文中結(jié)合robot訪(fǎng)問(wèn)網(wǎng)站的覆蓋率和陷阱鏈接的布置率兩個(gè)因素，對(duì)模型的檢測(cè)能力做了詳細(xì)的分析，指出了陷阱檢測(cè)模型的優(yōu)缺點(diǎn)，詳細(xì)探討了陷阱的布置策略對(duì)robot檢測(cè)效果的影響。
　　最后，設(shè)計(jì)了具體實(shí)驗(yàn)，結(jié)合陷阱檢測(cè)模型特點(diǎn)，對(duì)模型的各個(gè)功能模塊做了具體實(shí)現(xiàn)，開(kāi)發(fā)了一個(gè)robot檢測(cè)分析系統(tǒng)，并發(fā)布到互聯(lián)網(wǎng)上。通過(guò)對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，驗(yàn)證了陷