基于Hadoop云平臺(tái)的網(wǎng)絡(luò)測量系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來，隨著社會(huì)進(jìn)步和互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)量逐年飛速增長且網(wǎng)絡(luò)規(guī)模變得日漸龐大，當(dāng)前對(duì)網(wǎng)絡(luò)的性能、安全、服務(wù)質(zhì)量等指標(biāo)進(jìn)行統(tǒng)計(jì)分析面臨著海量數(shù)據(jù)的挑戰(zhàn)，從而使得監(jiān)控和評(píng)估網(wǎng)絡(luò)服務(wù)質(zhì)量變得越來越困難。目前，對(duì)海量網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行有效合理的收集存儲(chǔ)和統(tǒng)計(jì)分析已經(jīng)成為一個(gè)急需解決的問題。
　　傳統(tǒng)的集中式網(wǎng)絡(luò)測量技術(shù)在數(shù)據(jù)處理過程中，存在數(shù)據(jù)存儲(chǔ)成本過高、數(shù)據(jù)存儲(chǔ)管理困難、處理方法耗時(shí)嚴(yán)重、網(wǎng)絡(luò)測量并行處理程序編寫困難等問題，網(wǎng)絡(luò)

2、測量需要一種新的技術(shù)來解決這些問題。因此，利用開源云計(jì)算平臺(tái)的思想被提了出來。目前，基于云計(jì)算的網(wǎng)絡(luò)測量研究尚處于初級(jí)階段，測量過程中的海量數(shù)據(jù)收集存儲(chǔ)，數(shù)據(jù)分析并行算法等問題還待于進(jìn)一步探索，利用云計(jì)算平臺(tái)的數(shù)據(jù)處理能力處理海量數(shù)據(jù)已經(jīng)成為目前網(wǎng)絡(luò)測量的發(fā)展方向，本文即為在這一發(fā)展過程中的工作成果。
　　本文采用Hadoop開源云計(jì)算平臺(tái)提供的分布式存儲(chǔ)系統(tǒng)HDFS和并行計(jì)算編程框架MapReduce，研究云計(jì)算平臺(tái)下網(wǎng)絡(luò)測量算

3、法作業(yè)設(shè)計(jì)問題，在此基礎(chǔ)上，實(shí)現(xiàn)了一個(gè)海量數(shù)據(jù)網(wǎng)絡(luò)測量系統(tǒng)。本文的主要工作有:1.設(shè)計(jì)了一個(gè)基于Hadoop云平臺(tái)的網(wǎng)絡(luò)測量系統(tǒng)框架，滿足了對(duì)海量數(shù)據(jù)收集存儲(chǔ)和測量作業(yè)的需要;2.研究探討了目前高速網(wǎng)絡(luò)數(shù)據(jù)報(bào)文捕獲和轉(zhuǎn)發(fā)技術(shù)，引入了分布式可靠存儲(chǔ)技術(shù)HDFS，實(shí)現(xiàn)了海量數(shù)據(jù)的高效收集和安全存儲(chǔ);3.研究使用MapReduce框架編寫并行的網(wǎng)絡(luò)測量作業(yè)，實(shí)現(xiàn)了基于報(bào)文的TCP傳輸層性能測度計(jì)算和基于流數(shù)據(jù)的用戶行為分類兩個(gè)MapReduc