面向互聯(lián)網(wǎng)的多型文件融合存儲(chǔ)系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，各種新興的創(chuàng)新型應(yīng)用不斷涌現(xiàn)，爆炸式增長的不同類型的各種信息對(duì)數(shù)據(jù)存儲(chǔ)提出新的要求。由于網(wǎng)絡(luò)應(yīng)用類型的豐富性，其所產(chǎn)生的文件類型和文件數(shù)量都遠(yuǎn)遠(yuǎn)超過了傳統(tǒng)的通用文件系統(tǒng)所能支持的范圍。為了應(yīng)對(duì)不斷發(fā)展的網(wǎng)絡(luò)應(yīng)用所提出的存儲(chǔ)需求，面向互聯(lián)網(wǎng)的存儲(chǔ)系統(tǒng)需要具有如下幾個(gè)特點(diǎn)：首先是要能夠處理海量文件；其次要能夠支持多種類型的文件的存儲(chǔ)，如從幾KB的文本文件到幾GB的視頻文件；然后要具有極高的性能，能夠支持大量的并發(fā)訪問。

2、
　　 針對(duì)以上這些問題，本文設(shè)計(jì)和實(shí)現(xiàn)了一種面向互聯(lián)網(wǎng)環(huán)境的，支持海量數(shù)據(jù)的，對(duì)多種類型文件提供融合存儲(chǔ)的分布式文件系統(tǒng)--FDFS(FusionDistributed File System)。它借鑒了已有的分布式文件系統(tǒng)的設(shè)計(jì)經(jīng)驗(yàn)，打破了常規(guī)的分布式文件系統(tǒng)只能存儲(chǔ)海量小文件或者只設(shè)計(jì)用于存儲(chǔ)大數(shù)據(jù)集文件的壁壘，將海量的不同規(guī)模、不同類型的文件存儲(chǔ)在同一個(gè)系統(tǒng)中，大大提高了物理空間的利用率、降低了服務(wù)器集群管理的復(fù)雜度、同

3、時(shí)為全局范圍內(nèi)的負(fù)載均衡和存儲(chǔ)空間分配提供了更加精確的支持。
　　 本文著重闡述了FDFS系統(tǒng)的體系架構(gòu)設(shè)計(jì)以及系統(tǒng)設(shè)計(jì)中核心問題的實(shí)現(xiàn)策略。本系統(tǒng)采用了Master/Slave架構(gòu)模式，使用中心節(jié)點(diǎn)--NameServer和MetaServer，分別管理系統(tǒng)的存儲(chǔ)空間和目錄空間，用戶數(shù)據(jù)則分布在大量的存儲(chǔ)節(jié)點(diǎn)DataServer上，并且通過FDFS客戶端向用戶提供訪問系統(tǒng)的接口。FDFS中的物理空間以“塊(Block)”為單位