基于SVM的網(wǎng)絡爬蟲檢測研究與實現(xiàn).pdf

1、隨著搜索引擎技術(shù)的飛速發(fā)展,在搜索引擎中承擔數(shù)據(jù)采集、數(shù)據(jù)發(fā)現(xiàn)任務的網(wǎng)絡爬蟲日益成為互聯(lián)網(wǎng)上不可忽視的問題。這些爬蟲常常在我們毫不知情的情況下爬取信息,一些敏感信息、用戶隱私或者機密信息通過網(wǎng)絡爬蟲被搜索引擎公布于網(wǎng)上,引起嚴重的信息安全問題。同時,網(wǎng)絡爬蟲頻繁大量的訪問請求往往會給目標網(wǎng)站服務器帶來巨大的處理負擔和訪問流量,一些野蠻粗糙的爬蟲算法甚至會循環(huán)反復抓取信息,行成對服務器的拒絕服務攻擊。因此,如何檢測和發(fā)現(xiàn)網(wǎng)絡爬蟲,有效減少

2、其對網(wǎng)絡安全的影響,已成為網(wǎng)絡安全研究中的一個重要課題,對保護用戶隱私、保障數(shù)據(jù)安全及網(wǎng)站的正常運行都有著重要意義。
　　 本文首先從網(wǎng)絡爬蟲的工作原理及爬行策略出發(fā),對網(wǎng)絡爬蟲的行為特征進行了細致的研究,提取出能夠完整描述WEB訪問會話的矢量。然后運用支持向量機的分類算法進行網(wǎng)絡爬蟲與人類訪問的分類判別,提出了基于RBF內(nèi)核的SVM爬蟲檢測算法。設計實現(xiàn)了WEB—CIS爬蟲檢測系統(tǒng),并對其進行了測試分析。
　　 本文的

3、研究內(nèi)容和創(chuàng)新點主要包括以下幾個方面:
　　 (1)針對網(wǎng)絡爬蟲的行為特征,對Web日志進行聚類分析,提取出能夠標記Web訪問會話的特征向量,并對此作出改進,給出了特征向量LFCIS權(quán)值的計算方法及改進的權(quán)值公式。
　　 (2)分析了支持向量機的分類算法原理,提出了基于支持向量機的爬蟲檢測算法,設計了基于RBF內(nèi)核的SVM分類器,用于網(wǎng)絡訪問會話特征向量的分類,取得了優(yōu)于其它爬蟲檢測算法的效果。
　　 (3)在基

4、于支持向量機的爬蟲檢測算法的基礎(chǔ)上設計實現(xiàn)了WEB-CIS爬蟲檢測系統(tǒng),并對其系統(tǒng)架構(gòu)及Access Cluster、Classifier Training、Testing等模塊設計進行了詳細描述。
　　 (4)分析了WEB爬蟲檢測系統(tǒng)的評價標準,并對WEB-CIS爬蟲檢測系統(tǒng)進行了實驗與測試,比較了WEB-CIS爬蟲檢測系統(tǒng)與其它幾種WEB爬蟲檢測方法在同一基準數(shù)據(jù)集上檢測WEB爬蟲的能力。實驗結(jié)果顯示本文的方法明顯優(yōu)于其他爬