分布式網(wǎng)絡(luò)數(shù)據(jù)包索引存儲系統(tǒng)研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，全球網(wǎng)絡(luò)數(shù)據(jù)流量逐年高速增長，在現(xiàn)今大數(shù)據(jù)時代，網(wǎng)絡(luò)數(shù)據(jù)的價值尤為重要。提供網(wǎng)絡(luò)服務(wù)的企業(yè)或提供商、金融機(jī)構(gòu)、具有高度安全性要求的數(shù)據(jù)中心等大型機(jī)構(gòu)越來越關(guān)注于這樣的一些強(qiáng)大工具，它們能夠?qū)⒕W(wǎng)絡(luò)數(shù)據(jù)進(jìn)行存檔并且可以方便進(jìn)行事后分析。然而需要存儲的網(wǎng)絡(luò)信息是非常龐大的，如何將這龐大的數(shù)據(jù)進(jìn)行存儲并組織好方便用于之后的安全分析是個非常重要的，并且具有挑戰(zhàn)性的問題。
　　網(wǎng)絡(luò)數(shù)據(jù)的數(shù)量龐大，其存儲需要大量的存儲空

2、間，如何解決如此龐大的存儲需求是一個難題。本文利用分布式結(jié)構(gòu)，通過將大量廉價的計算機(jī)組合在一起構(gòu)成一個龐大的存儲空間。滿足存儲需求只解決了一方面問題，龐大的數(shù)據(jù)存儲在計算機(jī)，如何將其組織以便用戶可以方便使用是本文要解決的另一難題。本文采用索引技術(shù)對數(shù)據(jù)進(jìn)行組織，有了索引的數(shù)據(jù)庫可以大大加快對數(shù)據(jù)的訪問。針對網(wǎng)絡(luò)數(shù)據(jù)信息的多維性，本文采用位圖索引。
　　因此，本文實現(xiàn)了一個基于位圖索引的，針對網(wǎng)絡(luò)數(shù)據(jù)包的，分布式的，快速索引存儲系統(tǒng)

3、。在系統(tǒng)中，有兩個重要概念blobs和tags，它們負(fù)責(zé)系統(tǒng)中的數(shù)據(jù)的分布、復(fù)制、持久、尋址以及訪問。利用該系統(tǒng)可以將捕獲的網(wǎng)絡(luò)數(shù)據(jù)包中包含的一些重要信息截取下來，依據(jù)這些重要信息建立其位圖索引；采用內(nèi)存映射的方法對數(shù)據(jù)進(jìn)行加工存儲；整個系統(tǒng)基于MapReduce的編程模型；存儲的信息可添加副本分布于整個分布式系統(tǒng)的不同服務(wù)器上，增強(qiáng)系統(tǒng)的可靠性；系統(tǒng)中的服務(wù)器可隨意加入和離開，使得系統(tǒng)具有良好的擴(kuò)展性；系統(tǒng)中的各服務(wù)器端都可以進(jìn)行獨立