面向并行數(shù)字地形分析的DEM數(shù)據(jù)云存儲方法研究.pdf

1、人類對地觀測技術的發(fā)展使得大范圍高精度地形數(shù)字高程模型(DEM)數(shù)據(jù)的數(shù)據(jù)量呈爆炸式增長?；趩我挥嬎銠C的傳統(tǒng)數(shù)字地形分析方法由于存儲與計算性能有限，無法滿足地學研究和生產(chǎn)應用的需求。面向新型硬件架構的并行數(shù)字地形分析理論和方法的研究已經(jīng)成為地學界的研究熱點之一。然而，目前的研究著重于考慮地形分析算法的并行，很少涉及面向并行數(shù)字地形分析的海量DEM數(shù)據(jù)以及數(shù)字地形分析結果的管理問題，已有的DEM數(shù)據(jù)管理模式也無法滿足并行數(shù)字地形分析的需

2、求。分布式計算平臺Hadoop被認為是海量數(shù)據(jù)處理和分析的利器。如何利用Hadoop來管理急劇增加的DEM數(shù)據(jù)，以滿足并行數(shù)字地形分析的需求，是值得研究的課題，本文即圍繞此課題展開研究，主要內容包括以下三個方面:
　　1)面向并行數(shù)字地形分析的DEM數(shù)據(jù)組織方式
　　在深入分析并行數(shù)字地形分析的特點及其對DEM數(shù)據(jù)組織和管理需求的基礎上，詳細介紹了DEM金字塔結構及其構建方法和數(shù)學模型，并基于此結構設計了DEM及其增量數(shù)據(jù)的

3、分布式存儲模型，可實現(xiàn)海量DEM數(shù)據(jù)及其并行數(shù)字地形分析結果的有效存儲。
　　2)面向并行數(shù)字地形分析的DEM數(shù)據(jù)管理方法
　　DEM管理方法包括空間索引機制、數(shù)據(jù)壓縮方法、系統(tǒng)容錯機制和并發(fā)訪問策略等。本文結合HBase數(shù)據(jù)庫的存儲模式，構建了三級空間索引，并提出了基于內容的空間索引方法，使系統(tǒng)同時支持基于特征查詢和基于內容查詢。在數(shù)據(jù)壓縮方面，設計了高程增量游程編碼壓縮算法，并對算法的適用性進行了實驗驗證。此外，深入研究

4、了Hadoop的容錯方案和高并發(fā)訪問策略，并結合DEM數(shù)據(jù)的特點，給出了配置參數(shù)的建議值以及部分實現(xiàn)代碼。
　　3) DEM云存儲原型系統(tǒng)的設計與實現(xiàn)
　　通過分析DEM云存儲系統(tǒng)的設計需求，給出了系統(tǒng)的詳細設計方案。并以三臺PC機搭建Hadoop集群模擬DEM云存儲環(huán)境，在該集群環(huán)境上開發(fā)了DEM云存儲原型系統(tǒng)。該系統(tǒng)支持四種查詢方式:
　?、倩谖募樵?
　?、诨诜秶头直媛什樵?
　?、刍诜秶?/p>