高可用與高可擴(kuò)展內(nèi)存鍵值存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來，服務(wù)器內(nèi)存容量的迅速擴(kuò)大使得應(yīng)用程序逐步將更多數(shù)據(jù)存入內(nèi)存中，這也引發(fā)一個(gè)新的計(jì)算模型——內(nèi)存計(jì)算。內(nèi)存鍵值存儲(chǔ)系統(tǒng)因其語義通用、使用方便而備受關(guān)注，如Memcached、Redis等內(nèi)存鍵值存儲(chǔ)被廣泛應(yīng)用在Facebook、Twitter、LinkedIn等網(wǎng)絡(luò)社交平臺(tái)上。內(nèi)存鍵值系統(tǒng)的特點(diǎn)是將數(shù)據(jù)以鍵值對的模式存儲(chǔ)在內(nèi)存中，并提供高速的鍵值索引。利用內(nèi)存鍵值系統(tǒng)，應(yīng)用程序可以不用管理存儲(chǔ)數(shù)據(jù)的結(jié)構(gòu)，甚至能將數(shù)據(jù)存儲(chǔ)在其它節(jié)點(diǎn)

2、上。
　　內(nèi)存鍵值存儲(chǔ)系統(tǒng)按服務(wù)提供方式可以分為兩類：以網(wǎng)絡(luò)服務(wù)端的方式為應(yīng)用程序提供分布式服務(wù)（如Memcached）和以第三方庫（Library）的方式為應(yīng)用程序提供高速的本地服務(wù)（如KyotoCabinet）。對于以服務(wù)端方式實(shí)現(xiàn)的內(nèi)存鍵值系統(tǒng)，為了避免服務(wù)端單節(jié)點(diǎn)宕機(jī)時(shí)應(yīng)用程序受影響，應(yīng)該具有高可用性；而對于以第三方庫方式實(shí)現(xiàn)的內(nèi)存鍵值系統(tǒng)，為了成為避免應(yīng)用程序在多核平臺(tái)上運(yùn)行的性能瓶頸，應(yīng)該具有高可擴(kuò)展性。除此以外，內(nèi)存

3、鍵值系統(tǒng)應(yīng)該能為上層提供事務(wù)（Transaction）服務(wù),支持 ACID特性的數(shù)據(jù)操作方式。然而當(dāng)前的Memcached與KyotoCabinet等尚不具有上述功能。Memcached在單機(jī)宕機(jī)后失去服務(wù)的能力，并丟失數(shù)據(jù)，不具有高可用性，且不能提供事務(wù)服務(wù)；而KyotoCabinet存在嚴(yán)重的性能可擴(kuò)展性問題。
　　為此，本文針對這上述系統(tǒng)的問題進(jìn)行了研究與分析，并設(shè)計(jì)與實(shí)現(xiàn)了高可用與高可擴(kuò)展的內(nèi)存鍵值存儲(chǔ)系統(tǒng)。論文的主要貢獻(xiàn)

4、分為以下三個(gè)部分：
　　1.針對Memcached的高可用實(shí)現(xiàn)，本文所述工作對Cocached進(jìn)行了優(yōu)化。Cocached是在 Memcached上實(shí)現(xiàn)的高可用性內(nèi)存鍵值系統(tǒng)，它利用糾刪碼解決了主從復(fù)制冗余數(shù)據(jù)過多的問題，其缺點(diǎn)是系統(tǒng)恢復(fù)期間為保證數(shù)據(jù)一致性阻塞了對應(yīng)用程序的數(shù)據(jù)修改服務(wù)。為此，論文設(shè)計(jì)了一種一致性非阻塞方法，并在Cocached上增加了在線恢復(fù)模塊，允許系統(tǒng)在恢復(fù)期間為應(yīng)用程序提供數(shù)據(jù)修改服務(wù)，同時(shí)保證數(shù)據(jù)恢復(fù)的

5、正確性。測試表明，在添加了在線恢復(fù)系統(tǒng)模塊后，Cocached恢復(fù)期間的吞吐量大量提高，并在讀操作較多的場景下與用主從復(fù)制實(shí)現(xiàn)的系統(tǒng)性能接近。
　　2.在 Cocached上搭建事務(wù)層，使其能提供事務(wù)服務(wù)。事務(wù)層包含多個(gè)事務(wù)協(xié)調(diào)節(jié)點(diǎn)，在這些節(jié)點(diǎn)的幫助下，客戶端成功提交的事務(wù)具有ACID特性。事務(wù)層也支持高可用性，在事務(wù)協(xié)調(diào)節(jié)點(diǎn)宕機(jī)后，備份的事務(wù)協(xié)調(diào)節(jié)點(diǎn)能恢復(fù)未完成的事務(wù)并繼續(xù)提供服務(wù)。
　　3.分析KyotoCabinet性