分布式持久化緩存系統(tǒng)的研究與實現(xiàn).pdf

1、隨著信息技術(shù)的發(fā)展，應(yīng)用程序?qū)笈_性能的要求越來越高，數(shù)據(jù)量也越來越大，傳統(tǒng)的關(guān)系數(shù)據(jù)庫已經(jīng)無法滿足當(dāng)今的海量數(shù)據(jù)規(guī)模應(yīng)用。而在大數(shù)據(jù)時代，人們總希望存在一個Key-value存儲機制，像HashMap一樣在內(nèi)存中處理大量的Key-value對，以便提高數(shù)據(jù)的查找、修改速度，為此NoSQL技術(shù)得到了長足發(fā)展。
　　目前，NoSQL主要有兩方面的應(yīng)用，一是將數(shù)據(jù)按列存儲作為數(shù)據(jù)庫存儲服務(wù)器，另一個是將數(shù)據(jù)全部存儲在內(nèi)存中作為關(guān)系數(shù)據(jù)

2、庫的前端緩存以提高動態(tài)Web應(yīng)用的訪問速度。通過緩存系統(tǒng)就能減少數(shù)據(jù)庫的訪問次數(shù)，因為它能將數(shù)據(jù)庫的查詢結(jié)果緩存到內(nèi)存中。但是傳統(tǒng)的緩存系統(tǒng)為了追求更高的性能大都是基于內(nèi)存存儲的，數(shù)據(jù)的持久化功能并不完善，因而系統(tǒng)會受到內(nèi)存容量的限制，并且在系統(tǒng)宕機時會導(dǎo)致數(shù)據(jù)全部丟失，無法恢復(fù)。為此本文提出了緩存持久化存儲的思想。
　　本文首先對現(xiàn)有的緩存系統(tǒng)進行了分析和比較，指出了其中的缺點和不足，針對緩存數(shù)據(jù)的持久化運用了LSM-Tree理

3、論進行改進，以犧牲隨機讀換取順序?qū)憗韺崿F(xiàn)數(shù)據(jù)的高效持久化存儲；然后對分布式系統(tǒng)的擴展性及相關(guān)的關(guān)鍵技術(shù)進行了研究分析，如分布式系統(tǒng)中的數(shù)據(jù)一致性、數(shù)據(jù)同步機制、數(shù)據(jù)切分規(guī)則等，并參考Google的單機持久化存儲系統(tǒng)LevelDB和Amazon的高可用、高可擴展的Dynamo分布式架構(gòu)實現(xiàn)了一個分布式的Key-Value持久化緩存系統(tǒng)SSDB(Sorted Set DB)；最后運用了布隆過濾器等思想對SSDB進行了一系列優(yōu)化，并對SSDB