基于混合緩存架構的Cassandra讀性能優(yōu)化.pdf

1、隨著大數(shù)據(jù)時代的來臨，傳統(tǒng)的數(shù)據(jù)存儲、查詢、分析方式漸漸力不從心，難以適應海量數(shù)據(jù)的處理需求。關注非關系型、分布式、開源、可以線性擴展這幾個特點的NoSQL數(shù)據(jù)庫應運而生，能夠很好地滿足大數(shù)據(jù)時代的數(shù)據(jù)存儲與處理需求。Cassandra作為NoSQL數(shù)據(jù)庫的代表之一，被廣泛地應用于各大IT公司，承擔著極其重要的數(shù)據(jù)存儲和處理任務。然而Cassandra仍舊是一個相對較為年輕的分布式數(shù)據(jù)庫系統(tǒng)，其在各方面尤其是性能方面還有很大的改進空間。

2、在實際使用過程中，我們發(fā)現(xiàn)Cassandra的讀性能較差，難以滿足日漸增長的讀數(shù)據(jù)需求。經(jīng)過對Cassandra系統(tǒng)架構的分析以及性能測試，我們發(fā)現(xiàn)讀操作較慢的主要原因是數(shù)據(jù)讀取過程中涉及較多的硬盤IO操作。如果在讀數(shù)據(jù)時命中Cassandra的RowCache緩存，就可以直接從緩存中獲取完整數(shù)據(jù)進而省略硬盤IO過程，故增大緩存可以明顯地提升讀操作的性能。但是內(nèi)存空間是有限的，且價格較高，無法進行大規(guī)模擴充來滿足緩存高命中率的要求。而近

3、年來出現(xiàn)的固態(tài)硬盤具有低消耗、高容量、高速度、低耗費的特點，將其作為內(nèi)存的擴展，是增大緩存的極佳方案。目前將固態(tài)硬盤作為系統(tǒng)交換區(qū)來擴展內(nèi)存是較為常用的手段，但是這種方案有較多的缺點，無法充分利用固態(tài)硬盤的優(yōu)點。
　　本文針對性地設計并實現(xiàn)了基于內(nèi)存和固態(tài)硬盤的混合緩存架構，將固態(tài)硬盤作為內(nèi)存的擴展，為Cassandra提供大容量、高速度的RowCache緩存服務，來優(yōu)化其讀性能。我們設計的緩存架構分為兩層五區(qū)，其中內(nèi)存層分為三個

4、區(qū)域，固態(tài)硬盤層分為兩個區(qū)域?；旌暇彺嬖诔浞掷脙?nèi)存和固態(tài)硬盤的存儲空間和讀寫速度的情況下，盡量減少固態(tài)硬盤讀寫過程中的擦除操作，來減少固態(tài)硬盤的使用損耗。同時我們設計了一種使數(shù)據(jù)在各區(qū)域中有序轉(zhuǎn)移交換算法，能夠區(qū)分對待混合緩存中的冷熱數(shù)據(jù)，使較熱的數(shù)據(jù)能夠存儲在內(nèi)存層，而相對較冷的數(shù)據(jù)存儲在固態(tài)硬盤層?；旌暇彺嫦到y(tǒng)可以與Cassandra無縫銜接，并對用戶提供了友好的參數(shù)配置界面，包括靜態(tài)和動態(tài)兩種配置接口，使用戶可以簡單方便的使用。