異構存儲系統(tǒng)中的緩存技術研究.pdf

1、數(shù)據(jù)的爆炸式增長使得當前的存儲系統(tǒng)規(guī)模越來越龐大。而云計算、云存儲和大數(shù)據(jù)等新技術不斷的出現(xiàn)，也對存儲系統(tǒng)的容量、性能等方面提出了更高的要求。當前數(shù)據(jù)中心廣泛使用異構存儲設備構建大規(guī)模存儲系統(tǒng)，以滿足存儲容量和性能需求的不斷增加。如何構建大規(guī)模異構存儲系統(tǒng)面臨諸多問題，其中一個典型問題是由于設備負載和服務能力不匹配，使得存儲系統(tǒng)中廣泛使用的條帶等并行訪問技術難以充分發(fā)揮作用，導致性能降低。同時，隨著云存儲等技術的發(fā)展，不同應用共享異構存

2、儲系統(tǒng)越來越普遍，如何為這些應用提供服務質(zhì)量保證或者服務公平性非常重要，而存儲系統(tǒng)異構性更是對解決這一問題提出了更高的挑戰(zhàn)。通過研究異構存儲系統(tǒng)中的緩存算法，解決異構存儲系統(tǒng)中的性能優(yōu)化和服務質(zhì)量保證等問題，主要內(nèi)容包括以下幾個方面。
　　針對異構存儲系統(tǒng)的設備負載和服務能力不匹配所導致的性能降低問題，提出了一種基于負載特征識別和訪問性能預測的緩存算法（Caper）。Caper算法的主要思想是通過優(yōu)化緩存調(diào)度來平衡I/O請求在異構

3、存儲設備上的性能差異，減少甚至消除性能最差的存儲設備在異構存儲系統(tǒng)中性能瓶頸問題。Caper算法采用緩存分區(qū)策略，為了合理設置緩存分區(qū)的大小，Caper算法用CART模型預測I/O請求在存儲設備上的性能，并結(jié)合性能預測結(jié)果分析不同訪問特征負載的緩存需求。此外，Caper算法還改進時鐘緩存替換算法以進一步提高緩存效益。實驗結(jié)果表明，和Clock算法、Forney算法以及Chakraborty算法相比，Caper算法在不同類型的負載訪問下均

4、能夠獲得比較明顯的性能提升。
　　為應用提供服務質(zhì)量保證一直都是共享存儲系統(tǒng)中的重要研究內(nèi)容。然而，當不同應用共享緩存時，不同I/O請求到達率的應用之間相互影響程度不一樣。在傳統(tǒng)緩存算法（如LRU算法）中，和I/O請求到達率較高的應用相比，I/O請求到達率較低的應用獲得的緩存資源比較少，從而造成I/O請求到達率較低的應用的服務質(zhì)量難以保證。針對不同I/O請求到達率的應用共享緩存時存在的上述問題，提出了一種服務質(zhì)量保證的緩存算法（Q

5、aca）。Qaca算法采用開始時間公平隊列控制I/O請求的服務順序，并采用基于反饋結(jié)構的緩存管理策略動態(tài)調(diào)整應用之間的緩存分配。算法周期性地跟蹤應用的服務質(zhì)量保證程度，計算已滿足服務質(zhì)量保證的應用的富余緩存，然后將這些富余緩存分配給未達到服務質(zhì)量保證的應用，以保證更多應用的服務質(zhì)量。在執(zhí)行緩存分配時，Qaca算法根據(jù)富余緩存是否充足采用性能優(yōu)先或者服務質(zhì)量優(yōu)先的緩存分配策略。實驗結(jié)果表明，和LRU算法和Static算法相比，Qaca算法

6、能夠以較小的性能犧牲獲得較大程度的服務質(zhì)量保證，甚至有可能同時獲得少量的性能提升。
　　在不同I/O請求到達率的應用共享緩存時，傳統(tǒng)的預取算法存在較多的預取浪費和預取緩存污染，從而導致性能降低。特別是I/O請求到達率較低的應用，其預取緩存命中率的降低程度要遠遠高于I/O請求到達率較高的應用，從而使得性能降低呈現(xiàn)不公平性。針對不同應用在共享預取緩存中存在的上述問題，本文提出了一種優(yōu)化性能和兼顧公平性的預取算法Fepa。為了減少因應用

7、的I/O請求到達率差異造成的預取浪費和預取緩存污染，提出了一種基于I/O請求到達率的預取長度動態(tài)調(diào)整策略，提高緩存效益和整體性能。此外，F(xiàn)epa算法分別為每個應用計算最小緩存需求，以避免一個應用發(fā)生預取緩存缺失，同時還能夠讓其它應用分配到更多的緩存，從而提高緩存分配公平性。并以最小緩存需求計算為基礎，提出一種基于輪詢方法的緩存分配策略，在公平性和整體性能之間取得較好的平衡。實驗表明，和LRU算法、Linux內(nèi)核自帶的預取算法以及AMP預