基于云平臺(tái)的ARGO海洋環(huán)境觀測(cè)數(shù)據(jù)檢索與插值.pdf

1、云平臺(tái)技術(shù)的快速發(fā)展使人們?cè)絹碓疥P(guān)注大數(shù)據(jù)(Big data)。如果想要分析大型數(shù)據(jù)集就需要通過像Hadoop中的并行計(jì)算模型MapReduce那樣的框架為成百、成千甚至上萬臺(tái)電腦分配工作,所以大數(shù)據(jù)分析通常會(huì)和云平臺(tái)緊密的結(jié)合在一起。從技術(shù)上來講,大數(shù)據(jù)與云計(jì)算的關(guān)系可以描述為一枚硬幣的正反兩面那樣密不可分。很顯然,大數(shù)據(jù)是無法用單臺(tái)計(jì)算機(jī)來進(jìn)行處理,而是必須要采用分布式計(jì)算架構(gòu)。這個(gè)架構(gòu)最大的特色就是能夠?qū)Ａ繑?shù)據(jù)進(jìn)行分析,但是只有

2、依靠云計(jì)算技術(shù)中的分布式數(shù)據(jù)庫技術(shù)、分布式處理技術(shù)、云存儲(chǔ)技術(shù)以及虛擬化技術(shù)才能夠?qū)崿F(xiàn)這個(gè)架構(gòu)。
　　隨著云計(jì)算技術(shù)的發(fā)展,開源云平臺(tái)Hadoop顯然已成世界上最重要的云計(jì)算技術(shù)之一,Hadoop中的并行計(jì)算模型MapReduce也應(yīng)用在分布式計(jì)算中。此框架對(duì)海量數(shù)據(jù)進(jìn)行分割然后分配到多個(gè)節(jié)點(diǎn)上,接著對(duì)每一個(gè)節(jié)點(diǎn)進(jìn)行并行計(jì)算,將得出的結(jié)果歸并后進(jìn)行輸出。下一階段計(jì)算的輸入就是上一階段計(jì)算的輸出,因此可以想象到一個(gè)與樹狀結(jié)構(gòu)類似的分

3、布式計(jì)算結(jié)構(gòu),在每一個(gè)不同階段都會(huì)產(chǎn)出不同的結(jié)果,同時(shí)在分布式集群的資源下并行和串行進(jìn)行結(jié)合的計(jì)算也可以很好地得以高效的處理。
　　對(duì)ARGO海洋環(huán)境觀測(cè)數(shù)據(jù)進(jìn)行分析,有利于保護(hù)海洋環(huán)境和預(yù)防海洋氣候?yàn)?zāi)害,與此同時(shí)ARGO海洋環(huán)境觀測(cè)數(shù)據(jù)也屬于典型的大數(shù)據(jù),但ARGO數(shù)據(jù)分析軟件很少。所以本文針對(duì)ARGO海洋環(huán)境觀測(cè)數(shù)據(jù)數(shù)據(jù)量大、離散分布等特點(diǎn),為了能夠高效的研究ARGO海洋環(huán)境觀測(cè)數(shù)據(jù),我們需要將ARGO海洋環(huán)境觀測(cè)數(shù)據(jù)的分布與

4、其它空間現(xiàn)象分布模式進(jìn)行比較,也就是說我們需要將離散分布的ARGO海洋環(huán)境觀測(cè)數(shù)據(jù)轉(zhuǎn)換成為連續(xù)的數(shù)據(jù)曲面,因此本文主要工作是研究基于Hadoop平臺(tái)來對(duì)ARGO海洋環(huán)境觀測(cè)數(shù)據(jù)進(jìn)行插值與檢索。由于采用不同的方法進(jìn)行插值會(huì)產(chǎn)生不同的計(jì)算效率,本文主要實(shí)現(xiàn)了兩種插值方法:一種方法是通過分布式計(jì)算模型MapReduce的Map過程對(duì)ARGO海洋環(huán)境觀測(cè)數(shù)據(jù)區(qū)域分塊,在Reduce過程中,計(jì)算每個(gè)ARGO數(shù)據(jù)點(diǎn)的近鄰點(diǎn),然后分別對(duì)每一塊的ARG

5、O海洋環(huán)境觀測(cè)數(shù)據(jù)分別進(jìn)行插值計(jì)算,從而得出插值后連續(xù)的數(shù)據(jù)曲面。由于采用這種方法會(huì)對(duì)一個(gè)ARGO海洋環(huán)境觀測(cè)數(shù)據(jù)區(qū)域中的所有點(diǎn)進(jìn)行檢索,就需要遍歷整個(gè)ARGO海洋環(huán)境觀測(cè)數(shù)據(jù)區(qū)域中的所有點(diǎn),但是對(duì)于像ARGO海洋環(huán)境觀測(cè)數(shù)據(jù)這種大量記錄,很顯然這種方法檢索效率很低,因此提出了第二種方法:在第一種方法的基礎(chǔ)之上進(jìn)行改進(jìn),通過KD樹近鄰算法找到每個(gè)塊的每個(gè)數(shù)據(jù)的近鄰點(diǎn)來建立索引表,然后直接根據(jù)索引表來計(jì)算插值,這種方法減少了搜索點(diǎn)的數(shù)量,