網(wǎng)絡(luò)流量存儲與分析平臺的設(shè)計與實(shí)現(xiàn).pdf

1、目前社會各領(lǐng)域的數(shù)據(jù)都在以爆炸式的速度增長，伴隨著計算機(jī)科學(xué)與技術(shù)的發(fā)展使得數(shù)據(jù)的傳遞、存儲與處理方式產(chǎn)生了巨大的變化，由于網(wǎng)絡(luò)信息技術(shù)的蓬勃發(fā)展，個人和互聯(lián)網(wǎng)上的程序以及應(yīng)用都產(chǎn)生了大量的數(shù)據(jù)，數(shù)據(jù)的飛快增長對數(shù)據(jù)的存儲和高速訪問都提出了新的挑戰(zhàn)。正是因?yàn)榫W(wǎng)絡(luò)數(shù)據(jù)的快速增長，不同網(wǎng)絡(luò)應(yīng)用程序都需要擁有擴(kuò)展存儲容量的性能，并且應(yīng)用程序應(yīng)該能夠?qū)崿F(xiàn)存儲節(jié)點(diǎn)的動態(tài)加入，并且保證歷史數(shù)據(jù)及應(yīng)用程序產(chǎn)生的最新數(shù)據(jù)在不同存儲節(jié)點(diǎn)的分布均勻，從而實(shí)

2、現(xiàn)整個平臺系統(tǒng)的運(yùn)行負(fù)載均衡。根據(jù)現(xiàn)階段網(wǎng)絡(luò)數(shù)據(jù)存儲技術(shù)的發(fā)展，應(yīng)用程序的動態(tài)擴(kuò)容成本較高，而分布式存儲技術(shù)可以良好的解決海量數(shù)據(jù)的低廉存儲及高效的檢索。
　　本文介紹了網(wǎng)絡(luò)流量存儲與分析平臺的開發(fā)與實(shí)現(xiàn)，針對業(yè)務(wù)需求，結(jié)合網(wǎng)絡(luò)流量分析的相關(guān)技術(shù)，對網(wǎng)絡(luò)流量存儲與分析平臺開展功能性需求分析和非功能性需求分析，并根據(jù)需求分析結(jié)果對系統(tǒng)功能架構(gòu)和技術(shù)架構(gòu)完成設(shè)計與實(shí)現(xiàn)。網(wǎng)絡(luò)數(shù)據(jù)的采集分析業(yè)務(wù)使用C++語言基于nprobe改造完成，使用

3、gRPC框架實(shí)現(xiàn)采集分析子系統(tǒng)與元數(shù)據(jù)管理子系統(tǒng)的數(shù)據(jù)通信傳輸功能，元數(shù)據(jù)管理系統(tǒng)負(fù)責(zé)維護(hù)、更新存儲節(jié)點(diǎn)的信息并為存儲請求、查詢請求分配節(jié)點(diǎn)信息。查詢業(yè)務(wù)使用C++語言實(shí)現(xiàn)，首先向元數(shù)據(jù)管理系統(tǒng)發(fā)送查詢請求，獲得存儲節(jié)點(diǎn)信息后多線程完成各個存儲節(jié)點(diǎn)的查詢業(yè)務(wù)，并將結(jié)果數(shù)據(jù)返回客戶端，由客戶端完成結(jié)果匯聚后展示給用戶或供第三方應(yīng)用使用。根據(jù)業(yè)務(wù)需求，選擇fastbit作為網(wǎng)絡(luò)流量存儲與分析平臺的數(shù)據(jù)庫，針對業(yè)務(wù)邏輯，設(shè)計數(shù)據(jù)庫分區(qū)結(jié)構(gòu)及存

4、儲路徑。
　　根據(jù)當(dāng)前網(wǎng)絡(luò)的實(shí)際運(yùn)行環(huán)境，本文設(shè)計一套完整的流量采集分析和存儲方案，并在此基礎(chǔ)上實(shí)現(xiàn)了網(wǎng)絡(luò)流量存儲與分析平臺。根據(jù)平臺數(shù)據(jù)的分析結(jié)果，我們能夠掌握在特定時刻下當(dāng)前網(wǎng)絡(luò)的整體狀態(tài);掌握不同的應(yīng)用在網(wǎng)絡(luò)中的資源占用情況，使得資源不足的應(yīng)用能夠得到更多的帶寬;掌握每一個用戶使用網(wǎng)絡(luò)的具體情況，并根據(jù)結(jié)果信息促進(jìn)管理人員更加有效地分配相關(guān)資源;利用NetFlow的相關(guān)數(shù)據(jù)，對運(yùn)行網(wǎng)絡(luò)的不同特征如數(shù)據(jù)流向等開展解析過程，從而