分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、本篇論文表述的是設(shè)計(jì)和實(shí)現(xiàn)一個(gè)分布式存儲(chǔ)系統(tǒng)，Shamrock（三葉草）存儲(chǔ)系統(tǒng)，目標(biāo)是為企業(yè)或網(wǎng)站提供大規(guī)模數(shù)據(jù)存儲(chǔ)的基礎(chǔ)性應(yīng)用。 該存儲(chǔ)系統(tǒng)的特點(diǎn)就是利用眾多廉價(jià)、不可靠的機(jī)器，作為存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)節(jié)點(diǎn)，共同構(gòu)建一個(gè)可靠、容錯(cuò)、容量巨大的存儲(chǔ)系統(tǒng)。整個(gè)存儲(chǔ)系統(tǒng)采用P2P思想來(lái)構(gòu)建，使用一個(gè)中心節(jié)點(diǎn)（NameNode）作為系統(tǒng)的中心，維護(hù)所有存儲(chǔ)數(shù)據(jù)的元信息，數(shù)量眾多的數(shù)據(jù)節(jié)點(diǎn)（DataNodes）專門(mén)用來(lái)存放數(shù)據(jù)。數(shù)據(jù)文件分拆

2、成數(shù)份固定大小的塊（Block），每個(gè)塊有3個(gè)副本，這3個(gè)副本分別存放到3個(gè)不同的數(shù)據(jù)節(jié)點(diǎn)上（DataNode）。副本機(jī)制既保證了系統(tǒng)的可靠性，也保證了系統(tǒng)的安全性。NameNode維護(hù)的信息包括文件名、Block信息和每個(gè)Block存放的DataNode上。數(shù)量眾多的數(shù)據(jù)節(jié)點(diǎn)集群在一起對(duì)外提供存儲(chǔ)服務(wù)，使得系統(tǒng)具有存儲(chǔ)P級(jí)數(shù)據(jù)能力。 應(yīng)用程序通過(guò)API訪問(wèn)系統(tǒng)，Client與NameNode、DataNode通過(guò)遠(yuǎn)程調(diào)用（RP