高可用與高可擴展內(nèi)存鍵值存儲系統(tǒng)的設計與實現(xiàn).pdf

1、近年來，服務器內(nèi)存容量的迅速擴大使得應用程序逐步將更多數(shù)據(jù)存入內(nèi)存中，這也引發(fā)一個新的計算模型——內(nèi)存計算。內(nèi)存鍵值存儲系統(tǒng)因其語義通用、使用方便而備受關注，如Memcached、Redis等內(nèi)存鍵值存儲被廣泛應用在Facebook、Twitter、LinkedIn等網(wǎng)絡社交平臺上。內(nèi)存鍵值系統(tǒng)的特點是將數(shù)據(jù)以鍵值對的模式存儲在內(nèi)存中，并提供高速的鍵值索引。利用內(nèi)存鍵值系統(tǒng)，應用程序可以不用管理存儲數(shù)據(jù)的結(jié)構(gòu)，甚至能將數(shù)據(jù)存儲在其它節(jié)點

2、上。
　　內(nèi)存鍵值存儲系統(tǒng)按服務提供方式可以分為兩類：以網(wǎng)絡服務端的方式為應用程序提供分布式服務（如Memcached）和以第三方庫（Library）的方式為應用程序提供高速的本地服務（如KyotoCabinet）。對于以服務端方式實現(xiàn)的內(nèi)存鍵值系統(tǒng)，為了避免服務端單節(jié)點宕機時應用程序受影響，應該具有高可用性；而對于以第三方庫方式實現(xiàn)的內(nèi)存鍵值系統(tǒng)，為了成為避免應用程序在多核平臺上運行的性能瓶頸，應該具有高可擴展性。除此以外，內(nèi)存

3、鍵值系統(tǒng)應該能為上層提供事務（Transaction）服務,支持 ACID特性的數(shù)據(jù)操作方式。然而當前的Memcached與KyotoCabinet等尚不具有上述功能。Memcached在單機宕機后失去服務的能力，并丟失數(shù)據(jù)，不具有高可用性，且不能提供事務服務；而KyotoCabinet存在嚴重的性能可擴展性問題。
　　為此，本文針對這上述系統(tǒng)的問題進行了研究與分析，并設計與實現(xiàn)了高可用與高可擴展的內(nèi)存鍵值存儲系統(tǒng)。論文的主要貢獻

4、分為以下三個部分：
　　1.針對Memcached的高可用實現(xiàn)，本文所述工作對Cocached進行了優(yōu)化。Cocached是在 Memcached上實現(xiàn)的高可用性內(nèi)存鍵值系統(tǒng)，它利用糾刪碼解決了主從復制冗余數(shù)據(jù)過多的問題，其缺點是系統(tǒng)恢復期間為保證數(shù)據(jù)一致性阻塞了對應用程序的數(shù)據(jù)修改服務。為此，論文設計了一種一致性非阻塞方法，并在Cocached上增加了在線恢復模塊，允許系統(tǒng)在恢復期間為應用程序提供數(shù)據(jù)修改服務，同時保證數(shù)據(jù)恢復的

5、正確性。測試表明，在添加了在線恢復系統(tǒng)模塊后，Cocached恢復期間的吞吐量大量提高，并在讀操作較多的場景下與用主從復制實現(xiàn)的系統(tǒng)性能接近。
　　2.在 Cocached上搭建事務層，使其能提供事務服務。事務層包含多個事務協(xié)調(diào)節(jié)點，在這些節(jié)點的幫助下，客戶端成功提交的事務具有ACID特性。事務層也支持高可用性，在事務協(xié)調(diào)節(jié)點宕機后，備份的事務協(xié)調(diào)節(jié)點能恢復未完成的事務并繼續(xù)提供服務。
　　3.分析KyotoCabinet性