分布式文件系統(tǒng)中新型元數(shù)據(jù)管理子系統(tǒng)的研究與實現(xiàn).pdf

1、隨著云存儲系統(tǒng)的快速發(fā)展,需要存儲和管理的數(shù)據(jù)越來越多,這對作為云存儲系統(tǒng)重要支撐之一的分布式文件系統(tǒng)提出了更高的要求;高效地管理元數(shù)據(jù)是提高分布式文件系統(tǒng)性能的重要手段,也是當前研究和開發(fā)中的熱點問題。本文以分布式文件系統(tǒng)中的新型元數(shù)據(jù)管理子系統(tǒng)為研究對象,主要工作如下:
　　 首先分析了分布式文件系統(tǒng)的結(jié)構(gòu)、PCM等新型非易失存儲器的特性以及對分布式文件系統(tǒng)的影響,針對分布式文件系統(tǒng)中元數(shù)據(jù)管理的要求和特性,設(shè)計了新型元數(shù)據(jù)

2、管理子系統(tǒng)的結(jié)構(gòu),并進行了分析。
　　 在分析分布式文件系統(tǒng)中現(xiàn)有元數(shù)據(jù)通信協(xié)議的基礎(chǔ)上,提出了基于合并RPC的元數(shù)據(jù)通信協(xié)議,通過合并RPC操作,減少元數(shù)據(jù)的通信量,提高分布式文件系統(tǒng)的讀寫性能;從減少的RPC通信數(shù)量、適用的負載類型等方面進行了分析,并實現(xiàn)了原型系統(tǒng),使用Filebench以及多種負載數(shù)據(jù)集進行了測試與分析,驗證了使用基于合并RPC的元數(shù)據(jù)通信協(xié)議能穩(wěn)定地提高分布式文件系統(tǒng)的讀寫性能。
　　 分析了分

3、布式文件系統(tǒng)中現(xiàn)有的元數(shù)據(jù)管理算法,引入PCM,設(shè)計了基于PCM的元數(shù)據(jù)管理機制,給出了元數(shù)據(jù)的管理策略、基于PCMB樹的元數(shù)據(jù)查詢算法和基于主動寫回的元數(shù)據(jù)修改緩存管理算法;從管理元數(shù)據(jù)、查詢元數(shù)據(jù)、修改元數(shù)據(jù)和適應(yīng)性等方面進行了理論分析,實現(xiàn)了基于PCM的元數(shù)據(jù)管理機制的原型系統(tǒng),分別在本地和分布式文件系統(tǒng)中構(gòu)建了測試環(huán)境,使用通用測試工具和數(shù)據(jù)集進行了測試與分析,驗證了基于PCM的元數(shù)據(jù)管理機制能穩(wěn)定、有效的提高分布式文件系統(tǒng)的性