高擴(kuò)展性的海量存儲文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)規(guī)模增長迅速，數(shù)據(jù)的應(yīng)用模式也越來越多樣，這自然給存儲系統(tǒng)的發(fā)展帶來了新的機(jī)遇和挑戰(zhàn)。采用縱向擴(kuò)展模式來對存儲系統(tǒng)進(jìn)行擴(kuò)容的傳統(tǒng)方法，已經(jīng)越來越無法滿足具體應(yīng)用在存儲規(guī)模、并發(fā)性能與成本等方面的要求；而通過良好的分布式調(diào)度策略來集成大量商品機(jī)器的橫向擴(kuò)展模式卻能取得奇效。
　　碧海文件系統(tǒng)正是采用橫向擴(kuò)展模式的大規(guī)模分布式文件系統(tǒng)，它能良好的作為Hadoop之類的批處理框架的底層存儲堆棧，然而當(dāng)它應(yīng)用于通

2、用存儲環(huán)境時，卻存在著擴(kuò)展性、可用性和并發(fā)性的不足，而其中擴(kuò)展性不足的問題更是阻礙了碧海文件系統(tǒng)的發(fā)展。這些不足大都來源于元數(shù)據(jù)節(jié)點(diǎn)的單點(diǎn)架構(gòu)，因而本課題嘗試著使用分布式元數(shù)據(jù)節(jié)點(diǎn)的方式來解決上述不足。
　　具體的工作內(nèi)容為：對目錄樹進(jìn)行子樹分割，從而將元數(shù)據(jù)布局在不同的節(jié)點(diǎn)之上；設(shè)計(jì)了監(jiān)控節(jié)點(diǎn)，監(jiān)控節(jié)點(diǎn)能夠仲裁元數(shù)據(jù)節(jié)點(diǎn)的狀態(tài)，收集并分發(fā)子樹信息，以及增減元數(shù)據(jù)節(jié)點(diǎn)集群的規(guī)模；優(yōu)化了數(shù)據(jù)節(jié)點(diǎn)與元數(shù)據(jù)節(jié)點(diǎn)的通信模型，避免了重命名操