Web漏洞掃描系統(tǒng)中的智能爬蟲技術研究.pdf

1、針對Web安全問題，目前最常用的技術是采用 Web漏洞掃描系統(tǒng)進行檢測。網絡爬蟲是Web漏洞掃描器重要組成部分，負責抓取站點的頁面信息，為Web漏洞掃描器提供數據源及掃描入口。網絡爬蟲是一個智能抓取網頁的程序，論文主要研究網絡爬蟲技術。
　　 所做的主要工作包括以下幾部分：
　　 1)介紹了網絡爬蟲及其采用的爬行策略，論述了通用爬蟲、聚集爬蟲、深層爬蟲三種典型網絡爬蟲技術，詳述了聚集爬蟲使用的幾個重要網頁分析算法，分析了

2、已有的基于爬蟲技術的Web漏洞掃描系統(tǒng)。
　　 2)通過對掃描對象特點的分析，提出了一種基于屬性標簽的Web數據挖掘的算法。即利用網頁的所有標簽，構造帶有屬性標簽的DOM樹；通過屬性標簽對子樹做比較，發(fā)現標簽序列的重復模式；制定了三個規(guī)則排出干擾模式，找到數據區(qū)域，用向量記錄包含有用數據的重復模式；通過向量提取出數據記錄。驗證該方法有效性的實驗對象是卓越網各類目，從實驗的數據可以發(fā)現，該方法可以卓越網頁中提取出大約90％的數據，

3、正確率與覆蓋率都很高。
　　 3)基于屬性標簽的Web數據挖掘的方法可以挖掘很多網頁的重復數據，但對重復模式只具備相似性不具備一致性的網頁不起作用。針對這個問題，提出了一種基于編輯距離的Web數據挖掘算法。把樹編輯距離轉化為字符串編輯距離的計算，利用字符串編輯距離評價樹的相似度，進而找到網頁中的重復模式，提取數據。通過針對不同重復模式特征的網頁的實驗說明，該算法不僅能挖掘具有特征一的網頁的數據，也能挖掘具有特征二的網頁的數據，能