基于HDFS的分布式存儲(chǔ)的研究與優(yōu)化.pdf

1、近些年隨著互聯(lián)網(wǎng)的高速發(fā)展，接入互聯(lián)網(wǎng)的用戶(hù)越來(lái)越多，各種互聯(lián)網(wǎng)相關(guān)的服務(wù)也已經(jīng)深入到整個(gè)社會(huì)的各個(gè)方面，小到個(gè)人吃飯打車(chē)，大到影響全國(guó)人民的火車(chē)訂票視頻觀看等系統(tǒng)，無(wú)時(shí)無(wú)刻影響著我們的生活。在可預(yù)見(jiàn)的未來(lái)，互聯(lián)網(wǎng)將會(huì)繼續(xù)發(fā)展，而由此產(chǎn)生的數(shù)據(jù)將會(huì)變得越來(lái)越龐大，對(duì)于這些數(shù)據(jù)的處理以及有價(jià)值的信息處理會(huì)變得很重要。
　　而HDFS不管是作為云計(jì)算MapReduce的基本存儲(chǔ)系統(tǒng)還是單純作為海量大數(shù)據(jù)存儲(chǔ)平臺(tái)，在現(xiàn)在的社會(huì)中都發(fā)揮著

2、愈發(fā)重要的作用。作為一個(gè)被廣泛使用的大規(guī)模分布式文件系統(tǒng)，他能夠在高可用性以及高可靠性的前提下高效地進(jìn)行數(shù)據(jù)存儲(chǔ)及訪問(wèn)就會(huì)變得非常重要。
　　本文針對(duì)這樣一個(gè)問(wèn)題，對(duì)HDFS的NameNode以及DataNode進(jìn)行了仔細(xì)的研究，并闡述了現(xiàn)在版本中 HDFS的一些局限性，并提出了相關(guān)的優(yōu)化方案。本文主要工作如下：
　?。?）介紹云計(jì)算的一些相關(guān)知識(shí)，并對(duì) Hadoop進(jìn)行了相關(guān)介紹，主要是對(duì)HDFS的Namenode工作原理

3、以及DataNode的讀寫(xiě)過(guò)程進(jìn)行了詳細(xì)介紹，另外對(duì)MapReduce計(jì)算流程也進(jìn)行了簡(jiǎn)單介紹。
　?。?）對(duì)HDFS的高可用性進(jìn)行了介紹，并對(duì)早期版本的HDFS高可用性解決方案進(jìn)行了介紹以及分析對(duì)比，由此引出了Hadoop2.x新加入的新特性，HA（High Availability高可用性）機(jī)制。對(duì)HDFS HA進(jìn)行了詳細(xì)的分析，并提出了新的可更有利于擴(kuò)展性的方案，并對(duì)優(yōu)化方案的元數(shù)據(jù)一致性以及主備切換進(jìn)行了分析。在設(shè)計(jì)的實(shí)驗(yàn)

4、里，對(duì)優(yōu)化后的元數(shù)據(jù)一致性保證得到了驗(yàn)證。而在雙節(jié)點(diǎn)故障的情況下，優(yōu)化后的方案大大減少了主備N(xiāo)amenode節(jié)點(diǎn)切換的時(shí)間，優(yōu)化效果明顯。
　　（3）對(duì)HDFS中文件讀寫(xiě)進(jìn)行了了解與分析。由于磁盤(pán)的讀寫(xiě)會(huì)是文件讀寫(xiě)的瓶頸所在，故本文提出了一個(gè)基于緩存的優(yōu)化設(shè)計(jì)。在這個(gè)設(shè)計(jì)方案中，我們將用 Memcached來(lái)實(shí)現(xiàn)這個(gè)緩存層，對(duì)于 DataNode上的文件讀寫(xiě)首先會(huì)經(jīng)過(guò)Memcached緩存中間層，以達(dá)到讀寫(xiě)性能的提升。最后，分別對(duì)