基于存儲(chǔ)虛擬化的數(shù)據(jù)分布策略研究.pdf

1、人類社會(huì)已進(jìn)入信息時(shí)代，每年產(chǎn)生的數(shù)據(jù)量都以驚人的速度持續(xù)增長(zhǎng)。面對(duì)如此浩瀚的數(shù)據(jù)量，大量的數(shù)據(jù)存儲(chǔ)容量需求需要一個(gè)可擴(kuò)展的數(shù)據(jù)管理辦法，能夠自適應(yīng)大規(guī)模存儲(chǔ)系統(tǒng)的動(dòng)態(tài)變化，而一個(gè)有效的解決辦法是存儲(chǔ)虛擬化。但是，當(dāng)不同的應(yīng)用服務(wù)在虛擬存儲(chǔ)設(shè)備上產(chǎn)生大量數(shù)據(jù)時(shí)，如何有效地在虛擬存儲(chǔ)池中基于數(shù)據(jù)的特征來(lái)存放數(shù)據(jù)以及用戶如何快速地進(jìn)行數(shù)據(jù)定位是目前一個(gè)具有挑戰(zhàn)性的問(wèn)題。針對(duì)該問(wèn)題，本文研究基于存儲(chǔ)虛擬化的數(shù)據(jù)分布策略，完成的主要工作有如下幾

2、個(gè)方面：
　　 首先，提出了一種基于存儲(chǔ)虛擬化的數(shù)據(jù)分布策略(DDSBSV)模型，并對(duì)該模型中的存儲(chǔ)虛擬化和存儲(chǔ)資源綁定機(jī)制進(jìn)行了比較詳細(xì)的設(shè)計(jì)與分析。DDSBSV的基本思想是：一是設(shè)計(jì)了一個(gè)內(nèi)核可加載模塊實(shí)現(xiàn)存儲(chǔ)虛擬化；二是根據(jù)I/O負(fù)載特征，將存儲(chǔ)負(fù)載合理分配給不同虛擬磁盤綁定集；三是針對(duì)每個(gè)虛擬磁盤綁定集中的存儲(chǔ)介質(zhì)實(shí)現(xiàn)負(fù)載均衡；四是根據(jù)順序訪問(wèn)度和熱度在虛擬磁盤綁定集之間進(jìn)行合理的數(shù)據(jù)遷移。因此，模型提供了三個(gè)階段的數(shù)據(jù)

3、分布策略，從而滿足異構(gòu)應(yīng)用服務(wù)的需求以及充分利用外存儲(chǔ)系統(tǒng)的存儲(chǔ)資源。
　　 其次，在Linux2.6內(nèi)核中實(shí)現(xiàn)了DDSBSV的詳細(xì)設(shè)計(jì)。借鑒虛擬內(nèi)存的管理思想和擴(kuò)展Device Mapper機(jī)制實(shí)現(xiàn)存儲(chǔ)虛擬化，在此基礎(chǔ)上，提出了一種存儲(chǔ)資源綁定思想。通過(guò)分析I/O負(fù)載特征，動(dòng)態(tài)變更虛擬磁盤綁定集的權(quán)重，結(jié)合基于權(quán)重的輪詢調(diào)度算法，實(shí)現(xiàn)數(shù)據(jù)分發(fā)的公平性和數(shù)據(jù)的分級(jí)存儲(chǔ)。采用動(dòng)態(tài)區(qū)間映射算法實(shí)現(xiàn)了每個(gè)虛擬磁盤綁定集中存儲(chǔ)介質(zhì)的負(fù)載

4、均衡。采用加權(quán)有向圖WDG以及基于圖的深度優(yōu)先搜索算法計(jì)算I/O特征的順序訪問(wèn)度，根據(jù)順序訪問(wèn)度和熱度實(shí)現(xiàn)虛擬磁盤綁定集間的負(fù)載遷移，進(jìn)一步優(yōu)化數(shù)據(jù)的布局，實(shí)現(xiàn)數(shù)據(jù)的分級(jí)存儲(chǔ)。
　　 最后，實(shí)驗(yàn)方案采用DDSBSV存儲(chǔ)系統(tǒng)與Linux LVM2的性能進(jìn)行對(duì)比測(cè)試以及DDSBSV虛擬磁盤綁定集內(nèi)存儲(chǔ)介質(zhì)的負(fù)載均衡。通過(guò)實(shí)驗(yàn)表明在混合負(fù)載工作模式下DDSBSV的吞吐量、帶寬和平均響應(yīng)時(shí)間比LVM2有較高的性能提升。同時(shí)DDSBSV可