基于虛擬磁盤的分布式存儲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著全球網(wǎng)絡(luò)化的熱潮，網(wǎng)絡(luò)技術(shù)針對個人應(yīng)用的也是水漲船高。傳統(tǒng)的存儲解決方案已經(jīng)不能應(yīng)對海量數(shù)據(jù)和眾多互聯(lián)網(wǎng)應(yīng)用的挑戰(zhàn)。大規(guī)模分布式存儲系統(tǒng)具有高可擴展性、高可用性等優(yōu)點，已成為存儲領(lǐng)域的研究和發(fā)展方向，在各大互聯(lián)網(wǎng)公司和企業(yè)數(shù)據(jù)中心都有著廣泛的應(yīng)用。本文提出的基于虛擬磁盤的分布式存儲系統(tǒng)是結(jié)合當前蓬勃發(fā)展的分布式存儲技術(shù)，針對海量數(shù)據(jù)以及客戶端特定的內(nèi)核態(tài)數(shù)據(jù)的存儲方式，設(shè)計并實現(xiàn)的新型分布式存儲系統(tǒng)。
　　本文提出的分布式存儲

2、架構(gòu)，不僅具備完善的控制調(diào)度機制、基于hash算法的定位和擴展策略以及安全可靠的認證服務(wù)，還為海量數(shù)據(jù)片的存儲專門設(shè)計了基于 Log-Structure的日志式數(shù)據(jù)存儲系統(tǒng)，該文件系統(tǒng)依托于三級存儲介質(zhì)即內(nèi)存、ssd和磁盤，能充分利用磁盤IO帶寬，提高讀寫效率。
　　基于 Log-Structure日志結(jié)構(gòu)的數(shù)據(jù)存儲系統(tǒng)（Log-Structure Storage System, L3S）部署在分布式存儲集群的每臺存儲節(jié)點上。該數(shù)

3、據(jù)存儲模型借鑒于LogFS，用戶數(shù)據(jù)被分割成固定大小的數(shù)據(jù)分片，這些分片以 Append的方式組織在Log-Structure結(jié)構(gòu)中并在該結(jié)構(gòu)填滿后一次性寫入到磁盤。這種批量寫入的策略能充分利用磁盤傳輸帶寬，減少磁盤碎片。隨著數(shù)據(jù)的改變，數(shù)據(jù)分片的元數(shù)據(jù)也在不斷更新。當磁盤的可用存儲空間不足時，系統(tǒng)按照一定策略對無效數(shù)據(jù)進行回收。同時，該數(shù)據(jù)存儲系統(tǒng)把所有元數(shù)據(jù)和部分數(shù)據(jù)緩存放到SSD中，并在內(nèi)存中建立日志式數(shù)據(jù)結(jié)構(gòu)，作為持久化介質(zhì)和網(wǎng)