分布式緩存系統(tǒng)Memcached的改進(jìn)研究.pdf

1、互聯(lián)網(wǎng)企業(yè)的不斷發(fā)展給人們帶來便利的線上生活體驗，同時也帶來了數(shù)據(jù)量不斷增長。因此，大量數(shù)據(jù)的存儲和高速訪問成為現(xiàn)在互聯(lián)網(wǎng)時代發(fā)展所面臨的最大挑戰(zhàn)之一。
　　緩存的概念由處理CPU和內(nèi)存之間讀寫速度不匹配引入到提升Web網(wǎng)絡(luò)應(yīng)用系統(tǒng)的整體性能。為了避免集中式緩存服務(wù)器引起的緩存數(shù)據(jù)的頻繁swap，導(dǎo)致系統(tǒng)性能下降，進(jìn)而引入分布式緩存系統(tǒng)。分布式緩存具有良好的高可用性、可擴(kuò)展性和對用戶結(jié)構(gòu)透明的特點。從20世紀(jì)90年代開始對其進(jìn)行相

2、關(guān)研究，很多研究成果早已應(yīng)用于各個大型Web網(wǎng)絡(luò)應(yīng)用中。集中或嚴(yán)重傾斜的訪問負(fù)載問題會使分布式緩存系統(tǒng)出現(xiàn)單個節(jié)點壓力巨大的問題。
　　本文將對分布式緩存技術(shù)進(jìn)行介紹分析，其中包括分布式拓?fù)浣Y(jié)構(gòu)、數(shù)據(jù)緩存策略及其典型的替換策略，進(jìn)而介紹本文分布式緩存系統(tǒng)使用技術(shù)。然后，針對現(xiàn)在互聯(lián)網(wǎng)普遍使用的典型的分布式緩存系統(tǒng)Memcached和Redis進(jìn)行簡單的特性和適用場景的介紹。由本文針對集中的訪問負(fù)載場景，確定本文將在分布式緩存系統(tǒng)M

3、emcached上做出的改進(jìn)。對分布式緩存系統(tǒng)Memcached的客戶端和服務(wù)器端進(jìn)行詳細(xì)的研究與分析，總結(jié)分析其所存在不足。
　　針對原Memcached系統(tǒng)無冗余機(jī)制、在某種突發(fā)場景下緩存服務(wù)器性能問題和單點失效問題，本文將設(shè)計并介紹添加主從模式的分布式緩存MS_Memcached架構(gòu)，進(jìn)而引入主從一致性、請求“縱向”負(fù)載均衡和單點故障問題。本文通過異步消息隊列的方式實現(xiàn)主從復(fù)制，通過動態(tài)反饋負(fù)載均衡算法實現(xiàn)請求“縱向”負(fù)載均

4、衡，利用選舉算法解決單點故障問題。另外，MS_Memcached系統(tǒng)通過引入Amazon的數(shù)據(jù)劃分方案使Memcached的數(shù)據(jù)分布達(dá)到更加均勻的狀態(tài)。
　　在實驗部分通過在1臺PC機(jī)和6臺緩存服務(wù)器上搭建Memcached集群進(jìn)行實驗，采用Memcached Java客戶端whalin_2.5.0_bin中的官方測試數(shù)據(jù)進(jìn)行實驗測試。根據(jù)實驗測試結(jié)果可知，本文提出方案在沒有影響原方案性能的基礎(chǔ)上，在出現(xiàn)本文假設(shè)的訪問負(fù)載傾斜情況