海量存儲系統(tǒng)元數(shù)據(jù)管理的研究.pdf

1、隨著新型存儲技術(shù)的快速發(fā)展以及人們對存儲應(yīng)用需求的不斷增長，網(wǎng)絡(luò)存儲系統(tǒng)的發(fā)展日新月異。存儲系統(tǒng)正向著大存儲容量、高傳輸帶寬、高可靠性和易于管理的方向不斷前進。在大規(guī)模海量存儲系統(tǒng)的設(shè)計中，文件系統(tǒng)的元數(shù)據(jù)管理成為一個關(guān)鍵研究點，它對海量存儲系統(tǒng)的性能、安全、可用性和可擴展性等方面產(chǎn)生重要影響。
　　 在對海量存儲中元數(shù)據(jù)管理的瓶頸問題進行分析和研究的基礎(chǔ)上，構(gòu)建了一種具有層次結(jié)構(gòu)的元數(shù)據(jù)服務(wù)器集群體系結(jié)構(gòu)模型，進而設(shè)計一種層次

2、性目錄哈希元數(shù)據(jù)分布算法。另外，基于該體系結(jié)構(gòu)和層次性元數(shù)據(jù)分布算法，對海量存儲系統(tǒng)的可擴展性和負載均衡等問題進行了研究。
　　 論文的主要工作包括如下內(nèi)容：
　　 在分析傳統(tǒng)元數(shù)據(jù)服務(wù)器結(jié)構(gòu)的基礎(chǔ)上，從數(shù)據(jù)訪問效率、管理功能靈活性出發(fā)，將元數(shù)據(jù)服務(wù)器集群劃分成索引管理服務(wù)器和存儲管理服務(wù)器兩個部分。從功能的角度看，索引管理服務(wù)器起到“元”元數(shù)據(jù)服務(wù)器的角色。這種體系結(jié)構(gòu)潛在地使元數(shù)據(jù)服務(wù)器集群具有更好的性能和可擴展性，

3、不僅有利于文件系統(tǒng)元數(shù)據(jù)在集群內(nèi)的高效分布和查詢，而且層次清晰的模塊化結(jié)構(gòu)也為海量存儲系統(tǒng)的各種應(yīng)用研究提供了一個良好的平臺架構(gòu)。
　　 在海量存儲系統(tǒng)元數(shù)據(jù)服務(wù)器集群體系結(jié)構(gòu)的基礎(chǔ)上，提出了一種層次性目錄哈希的元數(shù)據(jù)分布算法。該算法是一種改進的哈希算法，它引入了目錄存儲單元和索引管理服務(wù)器的概念，通過對文件系統(tǒng)的目錄進行哈希，以目錄粒度在元數(shù)據(jù)服務(wù)器集群中分布元數(shù)據(jù)，目的是提高存儲系統(tǒng)中元數(shù)據(jù)的訪問效率。層次性目錄哈希算法可以

4、克服傳統(tǒng)文件哈希類算法在擴展性和負載均衡方面的不足，實現(xiàn)更為靈活的元數(shù)據(jù)分布管理，并獲得良好的存儲系統(tǒng)可擴展性。
　　 針對海量存儲系統(tǒng)的規(guī)?？蓴U展性和性能可擴展性問題，傳統(tǒng)的基于文件哈希的元數(shù)據(jù)分布算法往往存在一些技術(shù)缺陷，如，系統(tǒng)擴展會產(chǎn)生大量額外的元數(shù)據(jù)請求和引發(fā)大規(guī)模的元數(shù)據(jù)遷移，降低了存儲系統(tǒng)的性能。層次性目錄哈希元數(shù)據(jù)分布算法引入了專門的管理節(jié)點——索引管理服務(wù)器，有助于系統(tǒng)元數(shù)據(jù)的靈活管理，在執(zhí)行存儲系統(tǒng)擴展性操作

5、時可以降低操作的復(fù)雜度，減小衍生的額外負載，提高操作的執(zhí)行效率。在幾種典型的較易引發(fā)擴展性瓶頸的操作中，如更改目錄名、刪除目錄、修改目錄訪問權(quán)限、增加或刪除元數(shù)據(jù)服務(wù)器節(jié)點等，層次性目錄哈希算法在系統(tǒng)可擴展性方面都要比文件哈希算法表現(xiàn)得更為出色。
　　 針對分布式存儲系統(tǒng)環(huán)境下的負載均衡問題，對存儲系統(tǒng)元數(shù)據(jù)操作的特性和性能影響進行了研究，給出了衡量存儲節(jié)點負載分布狀態(tài)的負載均衡公式，并提出了一種層次式動態(tài)負載均衡策略來調(diào)節(jié)存儲