網(wǎng)絡(luò)滲透測(cè)試數(shù)據(jù)集抓取與查詢平臺(tái)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)滲透測(cè)試人員在滲透測(cè)試開始之前需要對(duì)目標(biāo)進(jìn)行偵察，目的是為了獲取目標(biāo)網(wǎng)絡(luò)的IP地址、目標(biāo)運(yùn)行的操作系統(tǒng)以及應(yīng)用程序列表。目前偵察工作主要借助相對(duì)單一的工具進(jìn)行，滲透測(cè)試人員通過對(duì)不同類型的信息進(jìn)行對(duì)比分析，建立聯(lián)系，繪制目標(biāo)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖，最終制定滲透策略。然而，滲透測(cè)試是一個(gè)迂回迭代的過程，特別是在目標(biāo)難以攻克的時(shí)候，在實(shí)際的滲透中需要的信息量往往是巨大的，獲取大量的信息并對(duì)其進(jìn)行分析與篩選，給滲透測(cè)試人員帶來了不小的挑戰(zhàn)。針對(duì)一

2、點(diǎn)，本文對(duì)目標(biāo)信息的獲取進(jìn)行了研究，旨在為測(cè)試人員提供一個(gè)目標(biāo)信息的查詢平臺(tái)。主要工作為：1. 研究網(wǎng)絡(luò)滲透測(cè)試目標(biāo)信息的獲取技術(shù)。滲透測(cè)試中的目標(biāo)信息可以通過一些其他數(shù)據(jù)間接獲取，為此本文定義了網(wǎng)絡(luò)滲透測(cè)試數(shù)據(jù)集的概念，結(jié)合實(shí)際需求對(duì)目標(biāo)信息內(nèi)容進(jìn)行分析，限定了網(wǎng)絡(luò)滲透測(cè)試數(shù)據(jù)集的內(nèi)容集合；結(jié)合現(xiàn)狀及功能需求，本文采用關(guān)鍵字提取的方式對(duì)數(shù)據(jù)集進(jìn)行分析處理，在方便測(cè)試人員進(jìn)行查詢的同時(shí)提高了目標(biāo)信息獲取的準(zhǔn)確性；數(shù)據(jù)集的抓取是進(jìn)行分析與

3、查詢的前提，為此本文研究數(shù)據(jù)集的抓取技術(shù)，在分析服務(wù)器對(duì)數(shù)據(jù)集抓取可能采取的限制手段的基礎(chǔ)上，引入了基于持續(xù)連接的代理隧輪換技術(shù)以及基于偽隨機(jī)序列的User-Agent偽裝技術(shù)，從而保證數(shù)據(jù)集的持續(xù)高效的抓取。2. 平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)。在研究了相關(guān)關(guān)鍵技術(shù)的基礎(chǔ)上，本文詳細(xì)描述了平臺(tái)的抓取引擎（Crawler-man）以及查詢子系統(tǒng)（Eagle-eye）的設(shè)計(jì)與實(shí)現(xiàn)并對(duì)其進(jìn)行了測(cè)試。本文通過對(duì)網(wǎng)絡(luò)滲透測(cè)試數(shù)據(jù)集進(jìn)行定義、分析以及相關(guān)技術(shù)的