基于陷阱技術(shù)的web robot檢測方法研究.pdf

1、Web robot(網(wǎng)絡(luò)爬蟲)作為一種網(wǎng)絡(luò)資源獲取程序，在廣泛應(yīng)用于信息搜索的同時，也帶來了一些負面影響。Robot對網(wǎng)站資源的集中獲取導(dǎo)致網(wǎng)絡(luò)流量增加，使網(wǎng)站響應(yīng)性能下降；Robot對網(wǎng)站的訪問嚴重影響基于日志的各種數(shù)據(jù)挖掘工作的結(jié)果；惡意robot會造成隱私數(shù)據(jù)泄漏、資源濫用、點擊欺騙等問題。因此出現(xiàn)大量robot檢測技術(shù)對robot進行檢測，并在必要的時候屏蔽其對網(wǎng)站的訪問。
　　本文介紹了現(xiàn)有的robot檢測技術(shù)，并對他們

2、所采用的方法、技術(shù)和優(yōu)缺點做了詳細的論述。介紹了陷阱技術(shù)在robot檢測中的應(yīng)用現(xiàn)狀，針對陷阱檢測中陷阱設(shè)置策略簡單、缺乏相應(yīng)理論和模型支持等問題，提出了一種新的robot檢測模型--基于陷阱技術(shù)的robot檢測模型。
　　基于陷阱技術(shù)的檢測模型，采用隱藏鏈接來捕獲robot，可移植性強，可方便的布設(shè)到需要進行robot檢測的網(wǎng)站中。陷阱檢測模型和其它檢測技術(shù)一樣不但具有常規(guī)robot的檢測能力，而且由于陷阱的特殊森林結(jié)構(gòu)，使其具

3、有分布式robot的檢測和區(qū)分能力，與其他檢測技術(shù)相比，體現(xiàn)了陷阱技術(shù)的優(yōu)越性。
　　文中結(jié)合robot訪問網(wǎng)站的覆蓋率和陷阱鏈接的布置率兩個因素，對模型的檢測能力做了詳細的分析，指出了陷阱檢測模型的優(yōu)缺點，詳細探討了陷阱的布置策略對robot檢測效果的影響。
　　最后，設(shè)計了具體實驗，結(jié)合陷阱檢測模型特點，對模型的各個功能模塊做了具體實現(xiàn)，開發(fā)了一個robot檢測分析系統(tǒng)，并發(fā)布到互聯(lián)網(wǎng)上。通過對實驗數(shù)據(jù)進行分析，驗證了陷