一種分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，每天都會(huì)產(chǎn)生很多結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。存儲(chǔ)設(shè)備作為存放數(shù)據(jù)的基礎(chǔ)設(shè)施，是計(jì)算機(jī)系統(tǒng)的重要組成部分之一，面臨成本高、可靠性很低、利用率低、可擴(kuò)展性低以及維護(hù)費(fèi)用昂貴的困窘。存儲(chǔ)系統(tǒng)逐漸從計(jì)算機(jī)系統(tǒng)中獨(dú)立出來(lái)，以一個(gè)單獨(dú)的模塊管理。從早期DEC的FAL到現(xiàn)在的GFS文件系統(tǒng)大致經(jīng)歷了三個(gè)階段：網(wǎng)絡(luò)文件系統(tǒng)，共享SAN文件系統(tǒng)和面向?qū)ο蟮奈募到y(tǒng)。網(wǎng)絡(luò)文件系統(tǒng)重點(diǎn)實(shí)現(xiàn)網(wǎng)絡(luò)環(huán)境下的文件共享和解決客戶(hù)端與文件服務(wù)器的交互

2、問(wèn)題；共享SAN文件系統(tǒng)重點(diǎn)研究存儲(chǔ)系統(tǒng)的可擴(kuò)展性和面向SAN的共享文件系統(tǒng)；面向?qū)ο笪募到y(tǒng)重點(diǎn)研究對(duì)象存儲(chǔ)，并發(fā)訪問(wèn)和元數(shù)據(jù)管理。從系統(tǒng)架構(gòu)來(lái)看主要有C/S體系結(jié)構(gòu)，共享存儲(chǔ)SAN架構(gòu)，基于集群的分布式架構(gòu)和 P2P對(duì)稱(chēng)式體系結(jié)構(gòu)。其中基于集群的分布式文件系統(tǒng)是普遍采用的體系結(jié)構(gòu)，該結(jié)構(gòu)由三個(gè)組件構(gòu)成：客戶(hù)端、元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器?？蛻?hù)端負(fù)責(zé)發(fā)送讀寫(xiě)請(qǐng)求，緩存文件元數(shù)據(jù)和文件數(shù)據(jù)。元數(shù)據(jù)服務(wù)器負(fù)責(zé)管理元數(shù)據(jù)和處理客戶(hù)端的請(qǐng)求，是

3、整個(gè)系統(tǒng)的核心組件。數(shù)據(jù)服務(wù)器負(fù)責(zé)存放文件數(shù)據(jù)，保證數(shù)據(jù)的可用性和完整性。該架構(gòu)的好處是性能和容量能夠同時(shí)擴(kuò)展，系統(tǒng)規(guī)模具有很強(qiáng)的伸縮性。
　　本文設(shè)計(jì)和實(shí)現(xiàn)一種基于集中式元數(shù)據(jù)服務(wù)模型和基于集群的分布式文件系統(tǒng)。其中元數(shù)據(jù)服務(wù)主要由三個(gè)部分構(gòu)成：資源管理節(jié)點(diǎn)，元數(shù)據(jù)服務(wù)主節(jié)點(diǎn)和元數(shù)據(jù)服務(wù)集群。資源管理節(jié)點(diǎn)主要負(fù)責(zé)管理所有的元數(shù)據(jù)服務(wù)節(jié)點(diǎn)，通過(guò)心跳技術(shù)檢測(cè)元數(shù)據(jù)服務(wù)所有節(jié)點(diǎn)的狀態(tài)。當(dāng)主節(jié)點(diǎn)失效之后，資源管理節(jié)點(diǎn)迅速?gòu)脑獢?shù)據(jù)集群選擇

4、一個(gè)主節(jié)點(diǎn)恢復(fù)元數(shù)據(jù)服務(wù)，從而消除了系統(tǒng)的單點(diǎn)故障，提升了元數(shù)據(jù)服務(wù)的高可用性。數(shù)據(jù)服務(wù)器負(fù)責(zé)存放文件數(shù)據(jù)，數(shù)據(jù)以塊的形式管理。每個(gè)服務(wù)器進(jìn)程負(fù)責(zé)一個(gè)磁盤(pán)，對(duì)該磁盤(pán)上的數(shù)據(jù)塊進(jìn)行管理。本文通過(guò)把小文件合并成文件塊，不但降低小文件寫(xiě)入操作的系統(tǒng)開(kāi)銷(xiāo)，而且節(jié)約了磁盤(pán)空間。數(shù)據(jù)節(jié)點(diǎn)采用廉價(jià)的PC，磁盤(pán)資源也很寶貴。磁盤(pán)負(fù)載失衡會(huì)造成磁盤(pán)的浪費(fèi)，本文先對(duì)磁盤(pán)的負(fù)載進(jìn)行分析，然后采用遺傳算法對(duì)數(shù)據(jù)服務(wù)器集群所有磁盤(pán)進(jìn)行負(fù)載均衡，平衡磁盤(pán)之間的使用