分布式環(huán)境下海量空間數(shù)據(jù)裝載研究.pdf

1、近年來(lái)，海量空間數(shù)據(jù)的高效存取管理，成為地學(xué)信息科學(xué)和計(jì)算機(jī)科學(xué)領(lǐng)域的研究熱點(diǎn)問(wèn)題之一。海量空間數(shù)據(jù)的快速裝載與空間數(shù)據(jù)特征、數(shù)據(jù)的組織和存取方式密切相關(guān)。傳統(tǒng)空間數(shù)據(jù)庫(kù)存在橫向擴(kuò)展困難、存取性能有限等缺點(diǎn)，當(dāng)空間數(shù)據(jù)量超過(guò)TB后，系統(tǒng)性能急劇下降。將現(xiàn)存的海量空間數(shù)據(jù)以及不斷產(chǎn)生的新數(shù)據(jù)（TB級(jí)甚至PB級(jí)）快速、高效、無(wú)誤地裝載入庫(kù)，減短入庫(kù)時(shí)間已成為海量數(shù)據(jù)處理的瓶頸。
　　將空間數(shù)據(jù)中數(shù)量較大的半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)從中分離

2、開(kāi)來(lái)，交由適宜存儲(chǔ)松散數(shù)據(jù)、可擴(kuò)展性強(qiáng)的HBase管理。根據(jù)矢量、柵格數(shù)據(jù)等數(shù)據(jù)模型特征和訪問(wèn)特性，結(jié)合HBase邏輯模型設(shè)計(jì)原則，利用圖幅號(hào)中的列號(hào)和圖尾號(hào)給出分幅號(hào)的計(jì)算公式，進(jìn)而設(shè)計(jì)出一套R(shí)owKey編碼。這種編碼使得數(shù)據(jù)分布“局部連續(xù)，全局分散”，從而實(shí)現(xiàn)負(fù)載均衡、并行讀取，提升空間數(shù)據(jù)的查詢效率。
　　針對(duì)海量空間半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)切片裝載量大且裝載入庫(kù)緩慢的問(wèn)題，以海量空間數(shù)據(jù)組織方案為基礎(chǔ)，設(shè)計(jì)了緩存和線程并發(fā)管