NoSQL存儲(chǔ)系統(tǒng)的相關(guān)算法改進(jìn)與性能測(cè)試.pdf

1、隨著云計(jì)算和大數(shù)據(jù)的興起,尤其是近幾年來(lái)海量級(jí)數(shù)據(jù)規(guī)模的應(yīng)用不斷涌現(xiàn)，非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和處理需求迅速增長(zhǎng),這些新的海量數(shù)據(jù)應(yīng)用對(duì)數(shù)據(jù)存儲(chǔ)有了新的需求。同時(shí)傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)無(wú)法滿足Web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)SNS類型的網(wǎng)站的需求，各大互聯(lián)網(wǎng)公司和網(wǎng)絡(luò)存儲(chǔ)公司對(duì)維護(hù)關(guān)系數(shù)據(jù)庫(kù)的成本越來(lái)越高。由于關(guān)系型數(shù)據(jù)庫(kù)的架構(gòu)設(shè)計(jì)問(wèn)題如數(shù)據(jù)結(jié)構(gòu)單一、查詢過(guò)程相對(duì)復(fù)雜，暴露出一些無(wú)法克服的問(wèn)題，因此急需一種新的存儲(chǔ)性能高的數(shù)據(jù)庫(kù)來(lái)補(bǔ)充甚

2、至取代關(guān)系型數(shù)據(jù)庫(kù)。而NoSQL存儲(chǔ)系統(tǒng)則由于自身的優(yōu)勢(shì)，如高性能，高可用性，可擴(kuò)展性，數(shù)據(jù)模型靈活，得到了迅速發(fā)展，其非結(jié)構(gòu)化分布式存儲(chǔ)系統(tǒng)的性能分析與調(diào)優(yōu)也成為了業(yè)界的熱點(diǎn)研究問(wèn)題。
　　本文首先在查閱相關(guān)NoSQL理論技術(shù)的基礎(chǔ)上，從NoSQL數(shù)據(jù)庫(kù)的優(yōu)勢(shì)特點(diǎn)出發(fā)，分析存儲(chǔ)系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)需要遵循的原則。通過(guò)研究目前主流的NoSQL數(shù)據(jù)庫(kù)存儲(chǔ)系統(tǒng)，參考國(guó)外NoSQL產(chǎn)品的實(shí)現(xiàn)，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于NoSQL的存儲(chǔ)系統(tǒng)，以及開(kāi)發(fā)

3、性能測(cè)試工具對(duì)系統(tǒng)進(jìn)行了有效的性能分析與評(píng)測(cè)。本文的主要的研究?jī)?nèi)容如下：
　　(1)通過(guò)對(duì)NoSQL數(shù)據(jù)模型的深入分析和研究，實(shí)現(xiàn)了基于key-value數(shù)據(jù)模型的存儲(chǔ)系統(tǒng)，支持基本命令查詢，支持完成一組命令的事務(wù)機(jī)制，利用設(shè)計(jì)模式中的觀察者思想實(shí)現(xiàn)訂閱信息功能，支持key-value數(shù)據(jù)存儲(chǔ)在多個(gè)服務(wù)器集群等基本功能，并對(duì)系統(tǒng)中使用的API功能作了詳細(xì)的分析。
　　(2)深入分析研究了傳統(tǒng)NoSQL存儲(chǔ)系統(tǒng)中常用數(shù)據(jù)結(jié)構(gòu)和

4、算法存在的問(wèn)題，通過(guò)改進(jìn)和完善一些低效的數(shù)據(jù)結(jié)構(gòu)和算法，提高存儲(chǔ)系統(tǒng)存儲(chǔ)效率和降低CPU消耗，重點(diǎn)研究和改進(jìn)了一致性哈希算法，通過(guò)加入虛擬節(jié)點(diǎn)，解決了傳統(tǒng)NoSQL存儲(chǔ)系統(tǒng)中一致性哈希算法平衡性的問(wèn)題。
　　(3)通過(guò)對(duì)存儲(chǔ)系統(tǒng)性能測(cè)試分析和設(shè)計(jì)，開(kāi)發(fā)出基準(zhǔn)性能測(cè)試工具menkv-benchmark，解決了NoSQL存儲(chǔ)系統(tǒng)測(cè)試設(shè)備不足和測(cè)試設(shè)備性能差異性問(wèn)題，產(chǎn)生了一系列的測(cè)試結(jié)果，通過(guò)具體的測(cè)試數(shù)據(jù)對(duì)比證明系統(tǒng)的平均性能每秒可