基于固態(tài)盤的分布式塊存儲系統(tǒng)緩存技術(shù)研究.pdf

1、在云計算和大數(shù)據(jù)的推動之下，分布式塊存儲系統(tǒng)越來越重要，現(xiàn)有的分布式塊存儲系統(tǒng)有 Petal、Sheepdog、Parallax、BLAST、DHTbd等。針對分布式環(huán)境的特點，為提升分布式塊存儲系統(tǒng)的性能，以提供更好的服務(wù)，研究一種以固態(tài)盤為基礎(chǔ)的全局共享式動態(tài)緩存(Global Shared Dynamic Cache，GSDC)技術(shù)，該技術(shù)主要采用固態(tài)盤作為存儲介質(zhì)來保存緩存數(shù)據(jù)。
　　GSDC技術(shù)采用多個緩存節(jié)點，每個緩存

2、節(jié)點都保存一定量的熱數(shù)據(jù)。所有緩存節(jié)點組成一個緩存層被原有系統(tǒng)的所有數(shù)據(jù)節(jié)點所共享。為高效管理眾多的緩存節(jié)點，采用一致性哈希方式將緩存節(jié)點分散成多個虛擬緩存節(jié)點，緩存數(shù)據(jù)以相同的方式通過計算之后，按指定規(guī)則存儲在不同的緩存節(jié)點上。
　　緩存數(shù)據(jù)被劃分到指定的緩存節(jié)點之后，采用一種動態(tài)算法進行管理。針對分布式塊存儲系統(tǒng)的特點，將緩存數(shù)據(jù)根據(jù)指定屬性分成多個不同的數(shù)據(jù)集，每個數(shù)據(jù)集由一個隊列進行管理，該動態(tài)算法基于每個數(shù)據(jù)集的實時訪問

3、情況，動態(tài)的調(diào)整每個隊列的可用空間大小。為得到較好的性能表現(xiàn)，為每一個隊列設(shè)定一個淘汰上限和一個淘汰下限，二者也根據(jù)訪問情況動態(tài)變化。緩存使用空間超過閾值時，優(yōu)先選擇淘汰負載較輕的數(shù)據(jù)集，但要同時考慮對應(yīng)隊列長度是否超過淘汰上限。
　　為加快數(shù)據(jù)淘汰時的速度，在系統(tǒng)相對空閑時將緩存中的臟數(shù)據(jù)同步到數(shù)據(jù)節(jié)點。同時，利用數(shù)據(jù)節(jié)點冗余空間，加入寫日志備份功能，保證系統(tǒng)原有的數(shù)據(jù)可靠性。
　　系統(tǒng)原型基于開源分布式塊存儲系統(tǒng)Shee