基于Hadoop的全分布式存儲(chǔ)架構(gòu)研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，人類已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代，數(shù)據(jù)量呈現(xiàn)爆炸式的增長(zhǎng)，云計(jì)算作為解決海量數(shù)據(jù)的有效手段也越來越受到人們重視。同時(shí)，云存儲(chǔ)作為云計(jì)算支撐性的底層服務(wù)也顯得越發(fā)重要。尤其是目前最為流行的開源分布式文件系統(tǒng)Hadoop Distributed File System(HDFS)，以其廉價(jià)、簡(jiǎn)單易部署的特點(diǎn)成為各大企業(yè)的首選。但是由于其自身的一些缺陷制約了HDFS的應(yīng)用。
　　本文首先研究了目前幾種主流的分布式文件系統(tǒng)，分

2、析了各自的特點(diǎn)，重點(diǎn)剖析了HDFS系統(tǒng)架構(gòu)及其運(yùn)行機(jī)制。HDFS采用的是主從式的架構(gòu)，系統(tǒng)只有一個(gè)主節(jié)點(diǎn)，這種架構(gòu)容易造成單點(diǎn)失效和高并發(fā)訪問的性能瓶頸問題。本文針對(duì)這一問題，提出了一種去中心化全分布式架構(gòu)。該架構(gòu)通過將單個(gè)Namenode水平擴(kuò)展為多個(gè)來解決單點(diǎn)失效問題。通過對(duì)元數(shù)據(jù)同步機(jī)制的深入研究，我們使用Secondary Namenode解決系統(tǒng)的元數(shù)據(jù)一致性問題。同時(shí)，文件采用讀寫分開的方式存儲(chǔ)，對(duì)只讀性文件的存儲(chǔ)策略進(jìn)行改