分布式緩存系統(tǒng)Memcached的改進(jìn)研究.pdf

1、互聯(lián)網(wǎng)企業(yè)的不斷發(fā)展給人們帶來(lái)便利的線上生活體驗(yàn)，同時(shí)也帶來(lái)了數(shù)據(jù)量不斷增長(zhǎng)。因此，大量數(shù)據(jù)的存儲(chǔ)和高速訪問(wèn)成為現(xiàn)在互聯(lián)網(wǎng)時(shí)代發(fā)展所面臨的最大挑戰(zhàn)之一。
　　緩存的概念由處理CPU和內(nèi)存之間讀寫速度不匹配引入到提升Web網(wǎng)絡(luò)應(yīng)用系統(tǒng)的整體性能。為了避免集中式緩存服務(wù)器引起的緩存數(shù)據(jù)的頻繁swap，導(dǎo)致系統(tǒng)性能下降，進(jìn)而引入分布式緩存系統(tǒng)。分布式緩存具有良好的高可用性、可擴(kuò)展性和對(duì)用戶結(jié)構(gòu)透明的特點(diǎn)。從20世紀(jì)90年代開始對(duì)其進(jìn)行相

2、關(guān)研究，很多研究成果早已應(yīng)用于各個(gè)大型Web網(wǎng)絡(luò)應(yīng)用中。集中或嚴(yán)重傾斜的訪問(wèn)負(fù)載問(wèn)題會(huì)使分布式緩存系統(tǒng)出現(xiàn)單個(gè)節(jié)點(diǎn)壓力巨大的問(wèn)題。
　　本文將對(duì)分布式緩存技術(shù)進(jìn)行介紹分析，其中包括分布式拓?fù)浣Y(jié)構(gòu)、數(shù)據(jù)緩存策略及其典型的替換策略，進(jìn)而介紹本文分布式緩存系統(tǒng)使用技術(shù)。然后，針對(duì)現(xiàn)在互聯(lián)網(wǎng)普遍使用的典型的分布式緩存系統(tǒng)Memcached和Redis進(jìn)行簡(jiǎn)單的特性和適用場(chǎng)景的介紹。由本文針對(duì)集中的訪問(wèn)負(fù)載場(chǎng)景，確定本文將在分布式緩存系統(tǒng)M

3、emcached上做出的改進(jìn)。對(duì)分布式緩存系統(tǒng)Memcached的客戶端和服務(wù)器端進(jìn)行詳細(xì)的研究與分析，總結(jié)分析其所存在不足。
　　針對(duì)原Memcached系統(tǒng)無(wú)冗余機(jī)制、在某種突發(fā)場(chǎng)景下緩存服務(wù)器性能問(wèn)題和單點(diǎn)失效問(wèn)題，本文將設(shè)計(jì)并介紹添加主從模式的分布式緩存MS_Memcached架構(gòu)，進(jìn)而引入主從一致性、請(qǐng)求“縱向”負(fù)載均衡和單點(diǎn)故障問(wèn)題。本文通過(guò)異步消息隊(duì)列的方式實(shí)現(xiàn)主從復(fù)制，通過(guò)動(dòng)態(tài)反饋負(fù)載均衡算法實(shí)現(xiàn)請(qǐng)求“縱向”負(fù)載均

4、衡，利用選舉算法解決單點(diǎn)故障問(wèn)題。另外，MS_Memcached系統(tǒng)通過(guò)引入Amazon的數(shù)據(jù)劃分方案使Memcached的數(shù)據(jù)分布達(dá)到更加均勻的狀態(tài)。
　　在實(shí)驗(yàn)部分通過(guò)在1臺(tái)PC機(jī)和6臺(tái)緩存服務(wù)器上搭建Memcached集群進(jìn)行實(shí)驗(yàn)，采用Memcached Java客戶端whalin_2.5.0_bin中的官方測(cè)試數(shù)據(jù)進(jìn)行實(shí)驗(yàn)測(cè)試。根據(jù)實(shí)驗(yàn)測(cè)試結(jié)果可知，本文提出方案在沒(méi)有影響原方案性能的基礎(chǔ)上，在出現(xiàn)本文假設(shè)的訪問(wèn)負(fù)載傾斜情況