災(zāi)害監(jiān)測(cè)中海量數(shù)據(jù)的處理方法究.pdf

1、隨著無(wú)線傳感器網(wǎng)絡(luò)技術(shù)的發(fā)展，在災(zāi)害監(jiān)測(cè)中所采集到的數(shù)據(jù)量越來(lái)越龐大，而數(shù)據(jù)的類(lèi)型也越來(lái)越復(fù)雜，對(duì)這些海量數(shù)據(jù)的處理已受到廣泛的關(guān)注。隨著云計(jì)算技術(shù)的發(fā)展，hadoop平臺(tái)可以為大數(shù)據(jù)的處理提供很好的支撐，它能夠?qū)崿F(xiàn)數(shù)據(jù)的并行化處理和海量存儲(chǔ)。
　　本文探討了基于分布式處理平臺(tái)hadoop來(lái)搭建對(duì)海量數(shù)據(jù)處理的分布式系統(tǒng)模型，以利用Hadoop中的HDFS和MapReduce來(lái)支持對(duì)海量數(shù)據(jù)的存儲(chǔ)和處理。本文從數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、

2、數(shù)據(jù)分析這三個(gè)方面探索了災(zāi)害監(jiān)測(cè)中海量數(shù)據(jù)的處理模型設(shè)計(jì):（1）通過(guò)對(duì)HDFS和Swift的對(duì)比分析發(fā)現(xiàn)，HDFS在支持超大數(shù)據(jù)存儲(chǔ)方面仍有不足，而Swift在大規(guī)模數(shù)據(jù)處理方面有很好的應(yīng)用，因而提出了融合openstack和hadoop的數(shù)據(jù)處理的方案。（2)探討了海量數(shù)據(jù)的去重、格式化和數(shù)據(jù)流的處理方法。引入了基于actor模型的HFlame架構(gòu)，能夠使處理流程組件化，易于封裝特定的處理邏輯。（3)針對(duì)海量數(shù)據(jù)的查詢和分析，引入了p