基于混合緩存架構(gòu)的Cassandra讀性能優(yōu)化.pdf

1、隨著大數(shù)據(jù)時(shí)代的來(lái)臨，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)、查詢(xún)、分析方式漸漸力不從心，難以適應(yīng)海量數(shù)據(jù)的處理需求。關(guān)注非關(guān)系型、分布式、開(kāi)源、可以線(xiàn)性擴(kuò)展這幾個(gè)特點(diǎn)的NoSQL數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生，能夠很好地滿(mǎn)足大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)與處理需求。Cassandra作為NoSQL數(shù)據(jù)庫(kù)的代表之一，被廣泛地應(yīng)用于各大IT公司，承擔(dān)著極其重要的數(shù)據(jù)存儲(chǔ)和處理任務(wù)。然而Cassandra仍舊是一個(gè)相對(duì)較為年輕的分布式數(shù)據(jù)庫(kù)系統(tǒng)，其在各方面尤其是性能方面還有很大的改進(jìn)空間。

2、在實(shí)際使用過(guò)程中，我們發(fā)現(xiàn)Cassandra的讀性能較差，難以滿(mǎn)足日漸增長(zhǎng)的讀數(shù)據(jù)需求。經(jīng)過(guò)對(duì)Cassandra系統(tǒng)架構(gòu)的分析以及性能測(cè)試，我們發(fā)現(xiàn)讀操作較慢的主要原因是數(shù)據(jù)讀取過(guò)程中涉及較多的硬盤(pán)IO操作。如果在讀數(shù)據(jù)時(shí)命中Cassandra的RowCache緩存，就可以直接從緩存中獲取完整數(shù)據(jù)進(jìn)而省略硬盤(pán)IO過(guò)程，故增大緩存可以明顯地提升讀操作的性能。但是內(nèi)存空間是有限的，且價(jià)格較高，無(wú)法進(jìn)行大規(guī)模擴(kuò)充來(lái)滿(mǎn)足緩存高命中率的要求。而近

3、年來(lái)出現(xiàn)的固態(tài)硬盤(pán)具有低消耗、高容量、高速度、低耗費(fèi)的特點(diǎn)，將其作為內(nèi)存的擴(kuò)展，是增大緩存的極佳方案。目前將固態(tài)硬盤(pán)作為系統(tǒng)交換區(qū)來(lái)擴(kuò)展內(nèi)存是較為常用的手段，但是這種方案有較多的缺點(diǎn)，無(wú)法充分利用固態(tài)硬盤(pán)的優(yōu)點(diǎn)。
　　本文針對(duì)性地設(shè)計(jì)并實(shí)現(xiàn)了基于內(nèi)存和固態(tài)硬盤(pán)的混合緩存架構(gòu)，將固態(tài)硬盤(pán)作為內(nèi)存的擴(kuò)展，為Cassandra提供大容量、高速度的RowCache緩存服務(wù)，來(lái)優(yōu)化其讀性能。我們?cè)O(shè)計(jì)的緩存架構(gòu)分為兩層五區(qū)，其中內(nèi)存層分為三個(gè)

4、區(qū)域，固態(tài)硬盤(pán)層分為兩個(gè)區(qū)域?；旌暇彺嬖诔浞掷脙?nèi)存和固態(tài)硬盤(pán)的存儲(chǔ)空間和讀寫(xiě)速度的情況下，盡量減少固態(tài)硬盤(pán)讀寫(xiě)過(guò)程中的擦除操作，來(lái)減少固態(tài)硬盤(pán)的使用損耗。同時(shí)我們?cè)O(shè)計(jì)了一種使數(shù)據(jù)在各區(qū)域中有序轉(zhuǎn)移交換算法，能夠區(qū)分對(duì)待混合緩存中的冷熱數(shù)據(jù)，使較熱的數(shù)據(jù)能夠存儲(chǔ)在內(nèi)存層，而相對(duì)較冷的數(shù)據(jù)存儲(chǔ)在固態(tài)硬盤(pán)層?；旌暇彺嫦到y(tǒng)可以與Cassandra無(wú)縫銜接，并對(duì)用戶(hù)提供了友好的參數(shù)配置界面，包括靜態(tài)和動(dòng)態(tài)兩種配置接口，使用戶(hù)可以簡(jiǎn)單方便的使用。