分布式存儲(chǔ)系統(tǒng)可用性與一致性研究.pdf

1、分布式系統(tǒng)中的一致性,可用性,分區(qū)容忍性,可擴(kuò)展性等問題一直是困擾分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)的幾個(gè)難題,很多分布式文件系統(tǒng)和存儲(chǔ)系統(tǒng)的設(shè)計(jì)目標(biāo)都是如何提升系統(tǒng)的性能,可擴(kuò)展性等。系統(tǒng)研究如何在廉價(jià)的普通設(shè)備上,構(gòu)建高可用的分布式存儲(chǔ)服務(wù)。系統(tǒng)為一分布式KV(key value)存儲(chǔ)系統(tǒng),使用外部高可用性系統(tǒng)部件Zookeeper進(jìn)行Leader選舉,使得在Leader節(jié)點(diǎn)失效時(shí)能夠自動(dòng)重新選舉一新的Leader繼續(xù)提供服務(wù)。采用類Paxos

2、多數(shù)派協(xié)議實(shí)現(xiàn)分布式副本,實(shí)現(xiàn)多副本之間的強(qiáng)一致性,在三個(gè)副本的情況下,確保由于各種異常比如網(wǎng)絡(luò),磁盤,進(jìn)程故障等導(dǎo)致一個(gè)副本不可用情況下系統(tǒng)繼續(xù)正常運(yùn)行。Leader(主)節(jié)點(diǎn)與Follower(從)節(jié)點(diǎn)能夠在宕機(jī)啟動(dòng)后自動(dòng)恢復(fù),并且確?；謴?fù)后系統(tǒng)寫入成功數(shù)據(jù)不會(huì)丟失。系統(tǒng)支持每份數(shù)據(jù)三副本,支持對(duì)數(shù)據(jù)進(jìn)行哈希分區(qū)提高系統(tǒng)擴(kuò)展性,分區(qū)后系統(tǒng)能夠?qū)崿F(xiàn)很好的線性擴(kuò)展性。系統(tǒng)向客戶提供可選的一致性服務(wù),其中一種為強(qiáng)一致性服務(wù),寫入成功后即可

3、立即被所有客戶端讀取到。另一種為較實(shí)用的單調(diào)一致性,保證不會(huì)讀到比之前讀到數(shù)據(jù)更老的數(shù)據(jù)。
　　測(cè)試表明系統(tǒng)使用的分布式副本協(xié)議開銷較小,并且在通過將網(wǎng)絡(luò)與磁盤操作并行化,多請(qǐng)求執(zhí)行之間并行化以及將所有的寫操作首先轉(zhuǎn)化為對(duì)日志文件的順序操作等優(yōu)化措施之后大大提高了系統(tǒng)的性能,寫性能基本已經(jīng)達(dá)到了磁盤所能提供性能的極限。類Paxos多數(shù)派分布式協(xié)議確實(shí)是分布式環(huán)境中提供高可用性服務(wù)的可行性較強(qiáng)的協(xié)議方案。能提供較好的一致性,可用性,