海量空間數(shù)據(jù)的分布式存儲(chǔ)查詢優(yōu)化.pdf

1、位置服務(wù)基于用戶位置向用戶提供各類(lèi)實(shí)時(shí)服務(wù)，其既是一種重要的服務(wù)形態(tài)，也是現(xiàn)實(shí)世界中諸多應(yīng)用的基礎(chǔ)。諸如基于位置的智慧旅游推薦、面向限定時(shí)空域的城市公共服務(wù)推送、商圈消費(fèi)群體精準(zhǔn)實(shí)時(shí)定位等應(yīng)用，首先需要快速查詢出位置相關(guān)的空間區(qū)域?qū)ο螅M(jìn)而采用快速的相似匹配計(jì)算來(lái)實(shí)現(xiàn)信息的實(shí)時(shí)推薦與推送。位置相關(guān)的空間對(duì)象查詢性能是保證實(shí)時(shí)性服務(wù)的重要影響因素。但空間對(duì)象的龐大規(guī)模和多樣化與查詢的連續(xù)性、高負(fù)載、實(shí)時(shí)性形成了一對(duì)矛盾，在海量空間對(duì)象的存

2、儲(chǔ)和訪問(wèn)管理上提出了巨大挑戰(zhàn)。本文即針對(duì)位置相關(guān)服務(wù)的實(shí)時(shí)性需求，在海量空間對(duì)象的存儲(chǔ)與訪問(wèn)優(yōu)化等方面展開(kāi)深入研究。
　　本文面向位置服務(wù)相關(guān)應(yīng)用中的空間對(duì)象查詢需求，針對(duì)空間對(duì)象的空間特征引入 GeoHash地理編碼系統(tǒng)，并充分開(kāi)采分布式內(nèi)存計(jì)算架構(gòu)的性能優(yōu)勢(shì)，設(shè)計(jì)了綜合鍵值對(duì)存儲(chǔ)結(jié)構(gòu)和列式存儲(chǔ)模式的分布式存儲(chǔ)模型以及空間對(duì)象范圍查詢模型。為進(jìn)一步提升各類(lèi)應(yīng)用的實(shí)時(shí)性響應(yīng)性能，本文基于分布式內(nèi)存計(jì)算架構(gòu)的大內(nèi)存和多核特征，設(shè)計(jì)了

3、分布式的多級(jí)索引結(jié)構(gòu)，優(yōu)化了大規(guī)模空間對(duì)象的訪問(wèn)性能，并從理論分析、實(shí)驗(yàn)驗(yàn)證兩個(gè)維度充分證明了提出模型的有效性和高效性。具體研究?jī)?nèi)容與成果如下：
　　首先，針對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)和大數(shù)據(jù)計(jì)算平臺(tái)的處理模式差異，設(shè)計(jì)了大規(guī)模密集型的實(shí)驗(yàn)來(lái)驗(yàn)證二者在不同應(yīng)用和數(shù)據(jù)集上的性能表現(xiàn)。主要基于二者在處理架構(gòu)、存儲(chǔ)介質(zhì)以及查詢策略等方面的差異，分別設(shè)計(jì)實(shí)驗(yàn)對(duì)索引、內(nèi)存、磁盤(pán)I/O等影響大規(guī)模數(shù)據(jù)處理性能的核心因素展開(kāi)性能測(cè)評(píng)，進(jìn)而基于性能表現(xiàn)綜合分析

4、各計(jì)算平臺(tái)對(duì)不同任務(wù)的適用性，為后續(xù)的大規(guī)模數(shù)據(jù)計(jì)算平臺(tái)選型和大規(guī)模數(shù)據(jù)的計(jì)算優(yōu)化提供了事實(shí)依據(jù)。
　　其次，針對(duì)海量空間對(duì)象的存儲(chǔ)需求和實(shí)時(shí)性訪問(wèn)約束，綜合分析了現(xiàn)有的分布式存儲(chǔ)系統(tǒng)的優(yōu)缺點(diǎn)，提出融合空間編碼技術(shù)和多版本數(shù)據(jù)的海量空間數(shù)據(jù)存儲(chǔ)模型。該模型采用 GeoHash編碼將二維空間對(duì)象轉(zhuǎn)換為一維字符串鍵值，進(jìn)而與鍵值對(duì)存儲(chǔ)模式、列存儲(chǔ)模式融合設(shè)計(jì)了新型的底層數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，能支持任意屬性的空間對(duì)象存儲(chǔ)和面向不同列族的查詢優(yōu)化

5、。同時(shí)，基于空間對(duì)象編碼提供的“空間相鄰性、編碼相似性”的特點(diǎn)，充分利用多版本數(shù)據(jù)的管理機(jī)制，提出了“高精度編碼，低精度存儲(chǔ)”的管理策略，并理論證明了編碼精度和查詢性能之間的影響關(guān)系。大量的實(shí)驗(yàn)結(jié)果也表明所提出模型對(duì)海量空間對(duì)象具有很好的存儲(chǔ)可擴(kuò)展性和查詢性能。
　　最后，為進(jìn)一步提升海量空間對(duì)象的實(shí)時(shí)性查詢響應(yīng)，本文充分開(kāi)采了分布式內(nèi)存計(jì)算平臺(tái)的性能優(yōu)勢(shì)，設(shè)計(jì)了基于分布式內(nèi)存的海量空間對(duì)象存儲(chǔ)模型和查詢優(yōu)化架構(gòu)。在充分利用 Ge

6、oHash編碼與鍵值對(duì)存儲(chǔ)模式的基礎(chǔ)上，本文充分兼顧內(nèi)存空間的隨機(jī)訪問(wèn)特性和有效管理需求，設(shè)計(jì)了基于RDD結(jié)構(gòu)的空間對(duì)象內(nèi)存存儲(chǔ)模型，進(jìn)而融合列式存儲(chǔ)的數(shù)據(jù)局部加載優(yōu)勢(shì)，優(yōu)化了不同應(yīng)用對(duì)數(shù)據(jù)的訪問(wèn)性能，從硬件性能開(kāi)采和存儲(chǔ)策略兩個(gè)角度最大化提升了空間對(duì)象的查詢性能。同時(shí)，基于分布式內(nèi)存環(huán)境設(shè)計(jì)了常駐內(nèi)存的字典樹(shù)索引結(jié)構(gòu)，實(shí)現(xiàn)了高效的分布式查詢架構(gòu)。大量的實(shí)驗(yàn)結(jié)果表明，該內(nèi)存存儲(chǔ)模型在保證數(shù)據(jù)存儲(chǔ)可擴(kuò)展性的基礎(chǔ)上，面對(duì)不同的查詢負(fù)載更好地