基于壓縮網(wǎng)絡(luò)編碼的WSN流式計(jì)算技術(shù)研究.pdf

1、在大范圍部署的無(wú)線傳感器網(wǎng)絡(luò)(WSN)中，節(jié)點(diǎn)產(chǎn)生大量實(shí)時(shí)的環(huán)境特征數(shù)據(jù)流，而如何從這些大規(guī)模實(shí)時(shí)數(shù)據(jù)流中高效地發(fā)現(xiàn)異常數(shù)據(jù)正是流式計(jì)算的重要研究?jī)?nèi)容。對(duì)此，本文提出了在Spark Stream上構(gòu)建WSN流式計(jì)算系統(tǒng)以檢測(cè)異常環(huán)境特征數(shù)據(jù);為優(yōu)化數(shù)據(jù)流的傳輸和計(jì)算效率，本文引入了壓縮網(wǎng)絡(luò)編碼技術(shù)，旨在改進(jìn)大數(shù)據(jù)環(huán)境下的系統(tǒng)數(shù)據(jù)處理性能。本文主要研究?jī)?nèi)容如下:
　　首先，設(shè)計(jì)實(shí)現(xiàn)了WSN的末梢數(shù)據(jù)終端以感知測(cè)量環(huán)境特征數(shù)據(jù)，包括各

2、類節(jié)點(diǎn)的物理結(jié)構(gòu)和網(wǎng)絡(luò)拓?fù)?還分析了節(jié)點(diǎn)間的基礎(chǔ)數(shù)據(jù)傳輸模型和協(xié)議。WSN末梢數(shù)據(jù)終端網(wǎng)絡(luò)規(guī)劃為環(huán)帶結(jié)構(gòu)，各環(huán)帶內(nèi)按簇匯聚數(shù)據(jù)并向上傳輸，形成廣義蝶形網(wǎng)絡(luò)以獲得壓縮網(wǎng)絡(luò)編碼增益。
　　其次，構(gòu)建了流式計(jì)算平臺(tái)來(lái)快速發(fā)現(xiàn)異常數(shù)據(jù)，該平臺(tái)通過(guò)數(shù)據(jù)云網(wǎng)關(guān)接收WSN末梢數(shù)據(jù)終端匯聚的原始環(huán)境特征數(shù)據(jù)流，將同步后的數(shù)據(jù)記錄推送到Spark Stream上的流式k-means程序中實(shí)時(shí)聚類，以快速發(fā)現(xiàn)大批數(shù)據(jù)流中的異常類簇。
　　然后，

3、改進(jìn)了k-means算法的微批內(nèi)聚類更新方式。提出在Spark上實(shí)現(xiàn)k-means安全區(qū)間更新優(yōu)化算法，削減單個(gè)微批數(shù)據(jù)流中的流式計(jì)算時(shí)間，使系統(tǒng)及時(shí)響應(yīng)數(shù)據(jù)流累積后的聚類模型更新。
　　最后，在系統(tǒng)的傳輸和處理階段分別引入壓縮網(wǎng)絡(luò)編碼和譯碼重構(gòu)技術(shù)。傳輸階段中，壓縮鏈路傳輸流量，以提高系統(tǒng)傳輸效率;處理階段中，利用Spark框架實(shí)現(xiàn)解碼重構(gòu)計(jì)算，充分利用大數(shù)據(jù)框架的計(jì)算性能，減少WSN節(jié)點(diǎn)性能消耗。
　　本文形成了一個(gè)在大