外文翻譯--hadoop分布式文件系統(tǒng)架構(gòu)和設(shè)計(jì)（譯文）

1、 中文 中文 6500 字 文獻(xiàn)出處： 文獻(xiàn)出處：Borthakur D. The hadoop distributed file system : Architecture and design[J]. Hadoop Project Website, 2007, 11(11):1 - 10.畢 業(yè) 設(shè) 計(jì)（論 計(jì)（論 文） 文）外文文獻(xiàn)翻譯院

2、 系： 經(jīng)濟(jì)與管理學(xué)院 物流與電子商務(wù)系專(zhuān) 業(yè)： 電子商務(wù) 班 級(jí)： 學(xué)生姓名： 導(dǎo)師姓名： 職稱(chēng)： 講師 起止時(shí)間：2014 年 12 月 20 日至 2015 年 6 月 20 日 2 2.4 簡(jiǎn)單的一致

3、性模型HDFS 應(yīng)用需要一個(gè)“一次寫(xiě)入多次讀取”的文件訪(fǎng)問(wèn)模型。一個(gè)文件經(jīng)過(guò)創(chuàng)建、寫(xiě)入和關(guān)閉之后就不需要改變。這一假設(shè)簡(jiǎn)化了數(shù)據(jù)一致性問(wèn)題，并且使高吞吐量的數(shù)據(jù)訪(fǎng)問(wèn)成為可能。Map/Reduce 應(yīng)用或者網(wǎng)絡(luò)爬蟲(chóng)應(yīng)用都非常適合這個(gè)模型。目前還有計(jì)劃在將來(lái)擴(kuò)充這個(gè)模型，使之支持文件的附加寫(xiě)操作。2.5 “移動(dòng)計(jì)算比移動(dòng)數(shù)據(jù)更劃算”一個(gè)應(yīng)用請(qǐng)求的計(jì)算，離它操作的數(shù)據(jù)越近就越高效，在數(shù)據(jù)達(dá)到海量級(jí)別的時(shí)候更是如此。因?yàn)檫@樣就能降低網(wǎng)絡(luò)阻塞的影

4、響，提高系統(tǒng)數(shù)據(jù)的吞吐量。將計(jì)算移動(dòng)到數(shù)據(jù)附近，比之將數(shù)據(jù)移動(dòng)到應(yīng)用所在顯然更好。HDFS 為應(yīng)用提供了將它們自己移動(dòng)到數(shù)據(jù)附近的接口。 2.6 異構(gòu)軟硬件平臺(tái)間的可移植性HDFS 在設(shè)計(jì)的時(shí)候就考慮到平臺(tái)的可移植性。這種特性方便了 HDFS 作為大規(guī)模數(shù)據(jù)應(yīng)用平臺(tái)的推廣。 三、Namenode 和 DatanodeHDFS 采用 master/slave 架構(gòu)。一個(gè) HDFS 集群是由一個(gè) Namenode 和一定數(shù)目的 Datano

5、des 組成。Namenode 是一個(gè)中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的名字空間(namespace)以及客戶(hù)端對(duì)文件的訪(fǎng)問(wèn)。集群中的 Datanode 一般是一個(gè)節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理它所在節(jié)點(diǎn)上的存儲(chǔ)。HDFS 暴露了文件系統(tǒng)的名字空間，用戶(hù)能夠以文件的形式在上面存儲(chǔ)數(shù)據(jù)。從內(nèi)部看，一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數(shù)據(jù)塊，這些塊存儲(chǔ)在一組 Datanode 上。Namenode 執(zhí)行文件系統(tǒng)的名字空間操作，比如打開(kāi)、關(guān)閉、重命名文件或目錄。它也

6、負(fù)責(zé)確定數(shù)據(jù)塊到具體Datanode 節(jié)點(diǎn)的映射。Datanode 負(fù)責(zé)處理文件系統(tǒng)客戶(hù)端的讀寫(xiě)請(qǐng)求。在Namenode 的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。Namenode 和 Datanode 被設(shè)計(jì)成可以在普通的商用機(jī)器上運(yùn)行。這些機(jī)器一般運(yùn)行著 GNU/Linux 操作系統(tǒng)(OS)。HDFS 采用 Java 語(yǔ)言開(kāi)發(fā)，因此任何支持Java 的機(jī)器都可以部署 Namenode 或 Datanode。由于采用了可移植性極強(qiáng)的J