可擴(kuò)展的元數(shù)據(jù)管理及對(duì)象標(biāo)識(shí)符研究.pdf

1、隨著存儲(chǔ)體系規(guī)模的增大以及數(shù)據(jù)訪問密集度的增加,集中式元數(shù)據(jù)管理已經(jīng)漸漸不能勝任?，F(xiàn)今的高性能計(jì)算不僅對(duì)存儲(chǔ)系統(tǒng)的I/O帶寬和元數(shù)據(jù)處理性能提出了很高的需求,而且對(duì)存儲(chǔ)系統(tǒng)的規(guī)模和擴(kuò)展性也有很高的需求。單一的元數(shù)據(jù)服務(wù)器已經(jīng)不能滿足應(yīng)用對(duì)規(guī)模和性能日益增長(zhǎng)的需求。采用元數(shù)據(jù)服務(wù)器(MDS)集群是海量存儲(chǔ)系統(tǒng)發(fā)展的必然趨勢(shì)。
　　在PB級(jí)分布式存儲(chǔ)系統(tǒng)中,元數(shù)據(jù)雖然很小,但元數(shù)據(jù)操作占存儲(chǔ)系統(tǒng)操作的50％到80%。因此,MDS集群如

2、何高效管理元數(shù)據(jù)對(duì)整個(gè)系統(tǒng)的性能和擴(kuò)展性起到關(guān)鍵作用。提出了一種基于動(dòng)態(tài)區(qū)間可擴(kuò)展的元數(shù)據(jù)管理策略(Directory Object ID Hashing, DOIDH),它結(jié)合了子樹分割和哈希方法的優(yōu)點(diǎn),可以將同一目錄下不同子目錄中的文件分布到多個(gè)MDS中,并部分保留了同一目錄下的存儲(chǔ)局部性。它采用文件父目錄對(duì)象標(biāo)識(shí)符進(jìn)行哈希,并通過元數(shù)據(jù)查找表中映射關(guān)系分布元數(shù)據(jù),當(dāng)增減元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)時(shí)通過相應(yīng)的元數(shù)據(jù)遷移算法遷移最少的元數(shù)據(jù),使

3、得MDS集群中元數(shù)據(jù)負(fù)載分布重新達(dá)到均衡。通過測(cè)試表明其具有元數(shù)據(jù)分布均衡,降低系統(tǒng)響應(yīng)時(shí)間,減少了元數(shù)據(jù)服務(wù)器之間元數(shù)據(jù)遷移及易擴(kuò)展等特性。
　　在分布式對(duì)象存儲(chǔ)系統(tǒng)中,利用對(duì)象標(biāo)識(shí)符的全局唯一性、不變性等特點(diǎn)可以使維護(hù)對(duì)象之間的關(guān)系變得更加容易,便于對(duì)目錄對(duì)象和文件對(duì)象的查詢和定位。研究了對(duì)象標(biāo)識(shí)符分配的若干種方法和回收策略,并對(duì)各種分配方法優(yōu)缺點(diǎn)進(jìn)行分析,進(jìn)行優(yōu)化改進(jìn)?？筛鶕?jù)實(shí)際應(yīng)用需要選擇合適的對(duì)象標(biāo)識(shí)生成策略,靈活方便對(duì)