開放可伸縮關系數(shù)據(jù)模型及數(shù)據(jù)分區(qū)策略研究.pdf

1、隨著互聯(lián)網的逐步社會化，各行各業(yè)的數(shù)據(jù)生產能力達到前所未有的高度，大數(shù)據(jù)(BigData)概念在這一背景下被提了出來，并且吸引了越來越多的關注。隨之而來的是各式各樣的大數(shù)據(jù)技術，簡言之，大數(shù)據(jù)技術指從海量形式各異的數(shù)據(jù)中，快速獲取信息價值的能力。其中數(shù)據(jù)模型和數(shù)據(jù)存儲技術研究是數(shù)據(jù)科學領域中的一項基礎性工作，能夠為上層數(shù)據(jù)庫構建、數(shù)據(jù)存取、數(shù)據(jù)分析和挖掘提供有力支撐。
　　論文描述了大數(shù)據(jù)技術的研究背景、研究意義，分析了大數(shù)據(jù)的特

2、點及主流的數(shù)據(jù)處理技術，同時給出了大數(shù)據(jù)模型及相應數(shù)據(jù)分區(qū)策略的研究現(xiàn)狀。然后，針對傳統(tǒng)關系數(shù)據(jù)模型數(shù)據(jù)類型受限，并發(fā)查詢性能低和橫向伸縮性不足的缺陷，提出了一個開放可伸縮關系數(shù)據(jù)模型，該模型采用類關聯(lián)數(shù)據(jù)的方式保留并擴展了傳統(tǒng)關系模型的關系描述能力，提供了開放的數(shù)據(jù)類型支持，并借鑒key-value的思想，提供了完全的橫向伸縮特性，迎合了大數(shù)據(jù)體量龐大、類型多樣、增長迅速的特點。在此之上，以構建一個高伸縮性、高可靠性和便于進行跨數(shù)據(jù)中

3、心部署的存儲系統(tǒng)為目標，從具體的數(shù)據(jù)存儲角度出發(fā)，針對OSRDM及其它基于key-value的數(shù)據(jù)模型，在分析現(xiàn)有數(shù)據(jù)分區(qū)與冗余機制的基礎上，提出了一個基于一致性哈希的彈性冗余數(shù)據(jù)分區(qū)策略，該策略將一致性哈希算法與數(shù)據(jù)冗余機制相結合，在最大程度發(fā)揮key-value類數(shù)據(jù)模型高橫向伸縮性特點的同時，通過可控冗余保證數(shù)據(jù)的可靠性，同時提升數(shù)據(jù)的并發(fā)訪問性能。
　　對所提模型和策略的評價工作分為定性分析和定量實驗兩個部分，分別針對開放