基于HBase的矢量空間數(shù)據(jù)存取關(guān)鍵技術(shù)研究.pdf

1、隨著信息技術(shù)和空間信息獲取技術(shù)的發(fā)展、全球信息化推進(jìn)和GIS（地理信息系統(tǒng)）的廣泛應(yīng)用，空間數(shù)據(jù)高速增長(zhǎng)。面對(duì)日益增長(zhǎng)的海量空間數(shù)據(jù)，傳統(tǒng)的空間數(shù)據(jù)管理方案面臨高并發(fā)讀寫(xiě)以及擴(kuò)展性等等瓶頸。而云計(jì)算高擴(kuò)展的存儲(chǔ)能力以及強(qiáng)大的計(jì)算能力則可以滿足海量數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)并行處理、高并發(fā)檢索等方面的需求。鑒于云計(jì)算技術(shù)的諸多優(yōu)點(diǎn)，論文針對(duì)如何利用云計(jì)算技術(shù)實(shí)現(xiàn)對(duì)海量矢量空間數(shù)據(jù)的存取展開(kāi)研究。重點(diǎn)對(duì)云平臺(tái)下矢量空間數(shù)據(jù)的存儲(chǔ)模型、空間索引構(gòu)建、數(shù)

2、據(jù)組織方案、數(shù)據(jù)的導(dǎo)入、空間查詢策略以及在HBase上進(jìn)行屬性SQL查詢等進(jìn)行了研究與設(shè)計(jì)。論文圍繞以下幾個(gè)方面開(kāi)展工作：
　　（1）矢量空間數(shù)據(jù)云存儲(chǔ)與檢索研究背景介紹及相關(guān)理論技術(shù)分析。論文闡述了海量空間數(shù)據(jù)存儲(chǔ)云存取的研究背景以及意義；分析了當(dāng)前國(guó)內(nèi)外云計(jì)算概況及空間數(shù)據(jù)云存取的研究現(xiàn)狀以及當(dāng)前研究的不足；結(jié)合MapReduce并行計(jì)算框架特性深入分析了MapReduce的矢量空間數(shù)據(jù)并行處理可行性，并探討分布式數(shù)據(jù)庫(kù)HBa

3、se以及SQL On Hadoop相關(guān)云計(jì)算技術(shù)存儲(chǔ)和管理海量矢量空間數(shù)據(jù)的優(yōu)勢(shì)。
　?。?）構(gòu)建了基于HBase的矢量空間數(shù)據(jù)存儲(chǔ)模型以及NoSQL模型與關(guān)系模型一體化的矢量空間數(shù)據(jù)的管理方案。針對(duì)矢量空間數(shù)據(jù)的特點(diǎn)，結(jié)合HBase數(shù)據(jù)模型，設(shè)計(jì)了矢量空間數(shù)據(jù)存儲(chǔ)模型，并采用四叉樹(shù)層次剖分技術(shù)設(shè)計(jì)了多級(jí)格網(wǎng)索引；結(jié)合空間信息多級(jí)格網(wǎng)編碼和Hilbert空間填充曲線的聚類(lèi)特性，設(shè)計(jì)了符合HBase數(shù)據(jù)庫(kù)RowKey存儲(chǔ)規(guī)則的矢量空

4、間數(shù)據(jù)標(biāo)識(shí)編碼；根據(jù)HBase數(shù)據(jù)庫(kù)存儲(chǔ)規(guī)則以及Phoenix操作結(jié)構(gòu)化數(shù)據(jù)特性，提出并設(shè)計(jì)了NoSQL模型與關(guān)系模型一體化的矢量空間數(shù)據(jù)的管理方案。
　?。?）設(shè)計(jì)了矢量空間數(shù)據(jù)入庫(kù)以及并行構(gòu)建空間索引策略。結(jié)合MapReduce并行處理特性討論并設(shè)計(jì)了單機(jī)導(dǎo)入和基于MapReduce并行處理矢量空間數(shù)據(jù)的入庫(kù)方案以及基于MapReduce設(shè)計(jì)了并行構(gòu)建空間索引方案。
　?。?）根據(jù)多級(jí)網(wǎng)格索引策略設(shè)計(jì)了空間查詢策略。根據(jù)

5、不同空間查詢算子、多級(jí)網(wǎng)格索引特點(diǎn)以及 HBase掃描查詢數(shù)據(jù)特性，設(shè)計(jì)并實(shí)現(xiàn)了空間查詢算子優(yōu)化策略、合并網(wǎng)格編碼優(yōu)化查詢策略以及限制掃描列簇優(yōu)化數(shù)據(jù)過(guò)濾策略等三種空間查詢優(yōu)化策略。
　　最后設(shè)計(jì)并實(shí)現(xiàn)了基于 HBase的矢量空間數(shù)據(jù)存取原型系統(tǒng)，實(shí)現(xiàn)了網(wǎng)格索引以及多級(jí)網(wǎng)格索引，通過(guò)網(wǎng)格索引與多級(jí)網(wǎng)格索引空間查詢效率對(duì)比實(shí)驗(yàn)，驗(yàn)證了多級(jí)網(wǎng)格索引的有效性。并基于多級(jí)網(wǎng)格索引，驗(yàn)證了空間查詢算子優(yōu)化策略、合并網(wǎng)格編碼優(yōu)化查詢策略以及限