網(wǎng)絡流量存儲與分析平臺的設計與實現(xiàn).pdf

1、目前社會各領域的數(shù)據(jù)都在以爆炸式的速度增長，伴隨著計算機科學與技術的發(fā)展使得數(shù)據(jù)的傳遞、存儲與處理方式產(chǎn)生了巨大的變化，由于網(wǎng)絡信息技術的蓬勃發(fā)展，個人和互聯(lián)網(wǎng)上的程序以及應用都產(chǎn)生了大量的數(shù)據(jù)，數(shù)據(jù)的飛快增長對數(shù)據(jù)的存儲和高速訪問都提出了新的挑戰(zhàn)。正是因為網(wǎng)絡數(shù)據(jù)的快速增長，不同網(wǎng)絡應用程序都需要擁有擴展存儲容量的性能，并且應用程序應該能夠實現(xiàn)存儲節(jié)點的動態(tài)加入，并且保證歷史數(shù)據(jù)及應用程序產(chǎn)生的最新數(shù)據(jù)在不同存儲節(jié)點的分布均勻，從而實

2、現(xiàn)整個平臺系統(tǒng)的運行負載均衡。根據(jù)現(xiàn)階段網(wǎng)絡數(shù)據(jù)存儲技術的發(fā)展，應用程序的動態(tài)擴容成本較高，而分布式存儲技術可以良好的解決海量數(shù)據(jù)的低廉存儲及高效的檢索。
　　本文介紹了網(wǎng)絡流量存儲與分析平臺的開發(fā)與實現(xiàn)，針對業(yè)務需求，結合網(wǎng)絡流量分析的相關技術，對網(wǎng)絡流量存儲與分析平臺開展功能性需求分析和非功能性需求分析，并根據(jù)需求分析結果對系統(tǒng)功能架構和技術架構完成設計與實現(xiàn)。網(wǎng)絡數(shù)據(jù)的采集分析業(yè)務使用C++語言基于nprobe改造完成，使用

3、gRPC框架實現(xiàn)采集分析子系統(tǒng)與元數(shù)據(jù)管理子系統(tǒng)的數(shù)據(jù)通信傳輸功能，元數(shù)據(jù)管理系統(tǒng)負責維護、更新存儲節(jié)點的信息并為存儲請求、查詢請求分配節(jié)點信息。查詢業(yè)務使用C++語言實現(xiàn)，首先向元數(shù)據(jù)管理系統(tǒng)發(fā)送查詢請求，獲得存儲節(jié)點信息后多線程完成各個存儲節(jié)點的查詢業(yè)務，并將結果數(shù)據(jù)返回客戶端，由客戶端完成結果匯聚后展示給用戶或供第三方應用使用。根據(jù)業(yè)務需求，選擇fastbit作為網(wǎng)絡流量存儲與分析平臺的數(shù)據(jù)庫，針對業(yè)務邏輯，設計數(shù)據(jù)庫分區(qū)結構及存

4、儲路徑。
　　根據(jù)當前網(wǎng)絡的實際運行環(huán)境，本文設計一套完整的流量采集分析和存儲方案，并在此基礎上實現(xiàn)了網(wǎng)絡流量存儲與分析平臺。根據(jù)平臺數(shù)據(jù)的分析結果，我們能夠掌握在特定時刻下當前網(wǎng)絡的整體狀態(tài);掌握不同的應用在網(wǎng)絡中的資源占用情況，使得資源不足的應用能夠得到更多的帶寬;掌握每一個用戶使用網(wǎng)絡的具體情況，并根據(jù)結果信息促進管理人員更加有效地分配相關資源;利用NetFlow的相關數(shù)據(jù)，對運行網(wǎng)絡的不同特征如數(shù)據(jù)流向等開展解析過程，從而