分布式環(huán)境下海量空間數(shù)據(jù)裝載研究.pdf

1、近年來，海量空間數(shù)據(jù)的高效存取管理，成為地學(xué)信息科學(xué)和計算機科學(xué)領(lǐng)域的研究熱點問題之一。海量空間數(shù)據(jù)的快速裝載與空間數(shù)據(jù)特征、數(shù)據(jù)的組織和存取方式密切相關(guān)。傳統(tǒng)空間數(shù)據(jù)庫存在橫向擴展困難、存取性能有限等缺點，當空間數(shù)據(jù)量超過TB后，系統(tǒng)性能急劇下降。將現(xiàn)存的海量空間數(shù)據(jù)以及不斷產(chǎn)生的新數(shù)據(jù)（TB級甚至PB級）快速、高效、無誤地裝載入庫，減短入庫時間已成為海量數(shù)據(jù)處理的瓶頸。
　　將空間數(shù)據(jù)中數(shù)量較大的半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)從中分離

2、開來，交由適宜存儲松散數(shù)據(jù)、可擴展性強的HBase管理。根據(jù)矢量、柵格數(shù)據(jù)等數(shù)據(jù)模型特征和訪問特性，結(jié)合HBase邏輯模型設(shè)計原則，利用圖幅號中的列號和圖尾號給出分幅號的計算公式，進而設(shè)計出一套RowKey編碼。這種編碼使得數(shù)據(jù)分布“局部連續(xù)，全局分散”，從而實現(xiàn)負載均衡、并行讀取，提升空間數(shù)據(jù)的查詢效率。
　　針對海量空間半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)切片裝載量大且裝載入庫緩慢的問題，以海量空間數(shù)據(jù)組織方案為基礎(chǔ)，設(shè)計了緩存和線程并發(fā)管