基于Hive的分布式空間數(shù)據(jù)庫的研究與優(yōu)化.pdf

1、分布式空間數(shù)據(jù)庫是空間數(shù)據(jù)技術(shù)以及分布式數(shù)據(jù)庫技術(shù)領(lǐng)域中比較受研究者關(guān)注的科學研究內(nèi)容之一，目前已經(jīng)應(yīng)用在各行各業(yè)。由于空間數(shù)據(jù)具有數(shù)據(jù)量大，屬性數(shù)據(jù)與空間數(shù)據(jù)密切相關(guān)，空間計算復(fù)雜等特點，空間數(shù)據(jù)庫的查詢效率始終是權(quán)衡、量度其性能的重要指標。由此Apache基金會所開發(fā)了以分布式系統(tǒng)架構(gòu)為平臺的Hadoop,它是一個能夠讓用戶輕松架構(gòu)和使用的分布式平臺。用戶可以輕松地在Hadoop上開發(fā)和運行處理海量數(shù)據(jù)的應(yīng)用程序，而它正是基于Hiv

2、e這一可靠，高效的數(shù)據(jù)倉庫工具。本文對分布式空間數(shù)據(jù)庫工具Hive的關(guān)鍵技術(shù)進行了學習與研究，分布式空間數(shù)據(jù)庫系統(tǒng) hadoop與傳統(tǒng)的數(shù)據(jù)庫相比，其通過強大的分布式性能實現(xiàn)了空間計算的高效性，更加適合大數(shù)據(jù)量的空間數(shù)據(jù)的計算。
　　本研究主要內(nèi)容包括：⑴通過對空間數(shù)據(jù)的理論基礎(chǔ)的了解以及認識，對基于HDFS的數(shù)據(jù)倉庫工具Hive框架、基于Hive的分布式計算模型MapReduce、分布式文件系統(tǒng)HDFS框架進行分析。⑵模擬對空間

3、數(shù)據(jù)的檢索以及對基于HDFS的數(shù)據(jù)倉庫工具Hive框架的擴展設(shè)計并實現(xiàn)，把SQL進行擴展使之更便于對Hive查詢支持，實現(xiàn)Hive用以分布式空間數(shù)據(jù)查詢。⑶在對分布式空間數(shù)據(jù)庫DSQ(Distributed Spatial Querier)的設(shè)計完成后，進行初步實現(xiàn)，部分性解決了Hive在查詢過程中經(jīng)常出現(xiàn)的數(shù)據(jù)傾斜問題，并對在分布式計算時造成的數(shù)據(jù)傾斜問題的原因進行了詳細分析，并采取一些優(yōu)化方式來提高HDFS對數(shù)據(jù)的處理效率。⑷通過實