基于Redis的一致性分析與改進(jìn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，傳統(tǒng)關(guān)系型數(shù)據(jù)庫在海量數(shù)據(jù)存儲(chǔ)、高可擴(kuò)展性、高可用性等新需求下顯現(xiàn)出自身局限性。NoSQL數(shù)據(jù)庫因其模式自由、支持分布式、支持最終一致性等特性可以很好的應(yīng)對(duì)這些互聯(lián)網(wǎng)新需求。依據(jù)CAP理論，NoSQL數(shù)據(jù)庫因無法避免網(wǎng)絡(luò)分區(qū)，所以需要在保證分區(qū)容忍性的前提下盡可能提高一致性和可用性。NoSQL中的Redis數(shù)據(jù)庫因開源、內(nèi)存存儲(chǔ)等特性獲得學(xué)術(shù)界和產(chǎn)業(yè)界廣泛關(guān)注。研究Redis數(shù)據(jù)庫一致性是推動(dòng)Redis發(fā)展必不可少的工

2、作。
　　本文不僅對(duì)Redis一致性進(jìn)行詳細(xì)分析，還對(duì)分析中發(fā)現(xiàn)的一致性問題提出改進(jìn)措施并實(shí)現(xiàn)。一致性表現(xiàn)形式多樣，本文重點(diǎn)研究Redis主節(jié)點(diǎn)和從節(jié)點(diǎn)的數(shù)據(jù)一致性。明確研究對(duì)象后，本文先從Redis架構(gòu)、Redis數(shù)據(jù)復(fù)制實(shí)現(xiàn)、Redis數(shù)據(jù)一致性維護(hù)三個(gè)方面展開Redis一致性分析。然后，本文總結(jié)一致性維護(hù)中存在的一致性問題并設(shè)計(jì)測(cè)試用例重現(xiàn)之。最后本文對(duì)發(fā)現(xiàn)的一致性問題提出改進(jìn)措施并實(shí)現(xiàn)：
　　1.復(fù)制緩沖區(qū)寫滿問題：

3、原生 Redis使用的復(fù)制緩沖區(qū)邏輯上是一個(gè)靜態(tài)環(huán)形隊(duì)列。復(fù)制緩沖區(qū)備寫滿后，隊(duì)尾數(shù)據(jù)會(huì)覆蓋隊(duì)頭數(shù)據(jù)。一旦復(fù)制緩沖區(qū)中存儲(chǔ)的待同步數(shù)據(jù)被覆蓋，主節(jié)點(diǎn)和從節(jié)點(diǎn)只能執(zhí)行一次完全同步。本文設(shè)計(jì)并實(shí)現(xiàn)一個(gè)新復(fù)制緩沖區(qū)替換原有復(fù)制緩沖區(qū)。新復(fù)制緩沖區(qū)實(shí)現(xiàn)同步數(shù)據(jù)零丟失，保證同步效率。新復(fù)制緩沖區(qū)使用緩沖區(qū)、文件索引等技術(shù)進(jìn)一步優(yōu)化數(shù)據(jù)讀寫效率。
　　2.故障轉(zhuǎn)移后數(shù)據(jù)同步低效問題：原生 Redis在完成故障轉(zhuǎn)移后，從節(jié)點(diǎn)會(huì)與新主節(jié)點(diǎn)進(jìn)行一次

4、完全同步，以保證與主節(jié)點(diǎn)數(shù)據(jù)一致性。如果故障發(fā)生前，新主節(jié)點(diǎn)（作為一個(gè)從節(jié)點(diǎn)）和其現(xiàn)有從節(jié)點(diǎn)隸屬于同一個(gè)主節(jié)點(diǎn)，那么新主節(jié)點(diǎn)和這類從節(jié)點(diǎn)存儲(chǔ)的數(shù)據(jù)大部分都相同。這種情況下主節(jié)點(diǎn)和從節(jié)點(diǎn)沒有必要進(jìn)行一次完全同步。優(yōu)化的故障轉(zhuǎn)移后數(shù)據(jù)同步策略，實(shí)現(xiàn)在上述情景執(zhí)行部分同步。
　　最后本文對(duì)改進(jìn)后Redis進(jìn)行測(cè)試。測(cè)試結(jié)果表明：改進(jìn)后Redis不會(huì)對(duì)數(shù)據(jù)庫讀性能產(chǎn)生影響；改進(jìn)Redis會(huì)少量降低數(shù)據(jù)庫寫性能；改進(jìn)后Redis實(shí)現(xiàn)將某些場(chǎng)