分布式內(nèi)存數(shù)據(jù)庫數(shù)據(jù)并行快速加載與索引技術(shù).pdf

1、隨著互聯(lián)網(wǎng)行業(yè)的高速發(fā)展，以及“大數(shù)據(jù)”、“云計算”等概念的普及，數(shù)據(jù)的爆炸性增長在大容量、多樣性和高增速方面，全面考驗著現(xiàn)代企業(yè)的數(shù)據(jù)處理能力。對于已經(jīng)成熟的傳統(tǒng)數(shù)據(jù)庫技術(shù)來說，計算機網(wǎng)絡(luò)技術(shù)的快速發(fā)展以及行業(yè)應(yīng)用的擴展需求使得傳統(tǒng)數(shù)據(jù)庫技術(shù)在很多使用場景下受到了很多新的挑戰(zhàn)。在這個形勢下，分布式數(shù)據(jù)庫和內(nèi)存數(shù)據(jù)庫的概念應(yīng)運而生。分布式數(shù)據(jù)庫相對于傳統(tǒng)集中式的數(shù)據(jù)庫具有良好的靈活性與可擴展性、在處理海量數(shù)據(jù)時在性能上和可靠性上有著更大

2、的優(yōu)勢。而內(nèi)存數(shù)據(jù)庫則是將要處理的數(shù)據(jù)存儲在內(nèi)存而不是磁盤中，因此其讀寫性能要比磁盤訪問高出幾個數(shù)量級，從而極大地提高性能。將分布式和內(nèi)存訪問結(jié)合在一起的分布式內(nèi)存數(shù)據(jù)庫可以兼顧可擴展性和高速訪問兩個特點，在當(dāng)前形勢下為用戶提供更多的功能。
　　相比于磁盤來說，內(nèi)存是很寶貴的資源，因此在大部分場景下分布式內(nèi)存數(shù)據(jù)庫在生產(chǎn)業(yè)務(wù)中主要扮演的是計算平臺的角色，并不作為存儲數(shù)據(jù)的主數(shù)據(jù)庫，其數(shù)據(jù)很多還是存儲在傳統(tǒng)磁盤數(shù)據(jù)庫中。如何將存儲在

3、傳統(tǒng)磁盤數(shù)據(jù)庫中的海量結(jié)構(gòu)化數(shù)據(jù)快速加載到內(nèi)存中是分布式內(nèi)存數(shù)據(jù)庫首先要解決的問題。
　　針對這個問題，本論文提供了一個將存儲在磁盤型數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)快速加載到分布式內(nèi)存數(shù)據(jù)庫系統(tǒng)中的解決方案。首先針對原有的結(jié)構(gòu)化數(shù)據(jù)提供了一套新式的快速索引模型，能夠?qū)崿F(xiàn)數(shù)據(jù)的高效存儲和快速查詢。然后通過分布式系統(tǒng)的方式把原始的結(jié)構(gòu)化數(shù)據(jù)建立成內(nèi)存數(shù)據(jù)索引并加載到分布式內(nèi)存數(shù)據(jù)庫存儲引擎中。除此之外，該解決方案能夠支持用戶喜好數(shù)據(jù)的數(shù)據(jù)過濾，

4、并提供增量數(shù)據(jù)更新功能。
　　論文的主要研究工作包含以下幾點：
　　1、設(shè)計出一種針對內(nèi)存數(shù)據(jù)庫的內(nèi)存數(shù)據(jù)索引模型，實現(xiàn)數(shù)據(jù)的高效存儲和快速查詢。該索引模型基于列式數(shù)據(jù)存儲，可以對原有數(shù)據(jù)進行壓縮并提供快速的查詢效率。
　　2、根據(jù)內(nèi)存數(shù)據(jù)索引模型，設(shè)計分布式內(nèi)存數(shù)據(jù)庫數(shù)據(jù)并行快速加載方案，將存儲在外部數(shù)據(jù)庫中的傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)加載到分布式內(nèi)存數(shù)據(jù)庫引擎中。該方案能根據(jù)用戶喜好對數(shù)據(jù)進行過濾，然后創(chuàng)建內(nèi)存數(shù)據(jù)索引，然后根