分布式文件系統(tǒng)中元數(shù)據(jù)管理策略

1、分布式文件系統(tǒng)中元數(shù)據(jù)管理策略分布式文件系統(tǒng)中元數(shù)據(jù)管理策略鄭小燕摘要分布式文件系統(tǒng)在海量數(shù)據(jù)存儲(chǔ)領(lǐng)域已經(jīng)有了廣泛的應(yīng)用，目前大多分布式系統(tǒng)使用的是文件數(shù)據(jù)及元數(shù)據(jù)解耦架構(gòu)。其中元數(shù)據(jù)管理對(duì)于文件系統(tǒng)的性能有著直接的影響。本文對(duì)此主要探究分布式文件系統(tǒng)中元數(shù)據(jù)的管理策略，基于幾種經(jīng)典的管理策略，分析其優(yōu)勢(shì)和不足，并在此基礎(chǔ)上提出了一種基于標(biāo)簽的管理策略?！娟P(guān)鍵詞】分布式文件系統(tǒng)元數(shù)據(jù)管理策略在經(jīng)濟(jì)發(fā)展的今天，各個(gè)行業(yè)的數(shù)據(jù)規(guī)模也越來(lái)越大

2、，各行各業(yè)也有更多的重要文件以及重要數(shù)據(jù)要保存。這對(duì)于分布式文件系統(tǒng)來(lái)說(shuō)，是一個(gè)大的挑戰(zhàn)。元數(shù)據(jù)管理作為系統(tǒng)中最為重要的一個(gè)部分，對(duì)于系統(tǒng)的整個(gè)性能的影響也是極大的。目前來(lái)講，現(xiàn)有的元數(shù)據(jù)管理是受傳統(tǒng)元數(shù)據(jù)分割技術(shù)限制的，還無(wú)法有效解決當(dāng)前的問(wèn)題?；跇?biāo)簽的元數(shù)據(jù)管理策略正是才這樣的情況下提出，這種新的策略中，簽是元數(shù)據(jù)的分割粒度，這種分割粒度對(duì)于元數(shù)據(jù)的處理有很大的影響，比如負(fù)載均衡、并發(fā)控制及系統(tǒng)可擴(kuò)展性等等。正是因?yàn)檫@種基于標(biāo)簽的

3、元數(shù)據(jù)管理策略有一定的優(yōu)勢(shì)和有效性，因此值得在分布式文件系統(tǒng)中推廣應(yīng)用。1分布式文件系統(tǒng)分布式文件系統(tǒng)是指文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。判斷此系統(tǒng)問(wèn)需要遍歷目錄的層次，因此，所花費(fèi)的代價(jià)更高；不能增加服務(wù)器進(jìn)行擴(kuò)展。靜態(tài)哈希策略：這種策略有兩種元數(shù)據(jù)，一個(gè)是目錄元數(shù)據(jù)，一個(gè)是文件元數(shù)據(jù)。靜態(tài)哈希策略主要是通過(guò)計(jì)算機(jī)中的文件名稱、路徑等標(biāo)志中的hash值把元數(shù)據(jù)分布到不同MDS中去。這

4、種策略的優(yōu)勢(shì)有：工作負(fù)載均衡；速度快；并發(fā)度高；網(wǎng)絡(luò)負(fù)載花費(fèi)低。不足：因?yàn)闄?quán)限的認(rèn)證要遍歷目錄層次，因此，花費(fèi)的代價(jià)較高；遷移代價(jià)太大，不易擴(kuò)展；不易維護(hù)元數(shù)據(jù)的一致性?；谀夸浡窂降脑獢?shù)據(jù)管理策略：除以上兩種經(jīng)典的策略外，還有其他的策略這里就不一一介紹。在這些策略基礎(chǔ)上進(jìn)行改善且加入了新的技術(shù)的策略這里介紹下這種基于目錄路徑的管理策略。這種管理策略中的目錄路徑的屬性同目錄對(duì)象是相分離的。因而，能避免因修改目錄屬性時(shí)對(duì)目錄中的子目錄或者

5、文件產(chǎn)生的影響，另外，在系統(tǒng)中設(shè)立了單路的目錄路徑索引服務(wù)器?？梢愿鶕?jù)用戶的請(qǐng)求文件路徑來(lái)找對(duì)應(yīng)的父目錄屬性，最終根據(jù)父目錄定位目標(biāo)MDS。這種管理策略有靜態(tài)哈希策略的優(yōu)勢(shì)，但也難以擺脫部分不足，存在一定的局限性?；跇?biāo)簽的新的管理策略：這種策略是基于經(jīng)典以及一些改善策略基礎(chǔ)上提出的策略。不同元數(shù)據(jù)分割粒度對(duì)于系統(tǒng)的性能的影響是不同的。比如，緩存利用率、并發(fā)度以及可擴(kuò)展性等等。從以上幾種經(jīng)典管理策略以及經(jīng)過(guò)改善的管理策略分析來(lái)看，將目錄