基于HDFS的分布式存儲研究與實(shí)現(xiàn).pdf

1、隨著信息化社會的快速發(fā)展,互聯(lián)網(wǎng)中的數(shù)據(jù)急劇膨脹。大規(guī)模的數(shù)據(jù)生產(chǎn)就必然伴隨著大規(guī)模的數(shù)據(jù)存儲,但傳統(tǒng)存儲方式很難突破其存儲限制,分布式存儲系統(tǒng)應(yīng)運(yùn)而生。
　　Hadoop是由Apache軟件基金會開發(fā)的一個(gè)分布式計(jì)算框架,目前已廣泛應(yīng)用于各大互聯(lián)網(wǎng)公司。Hadoop的核心是 MapReduce和 HDFS,分別為數(shù)據(jù)提供計(jì)算和存儲服務(wù)。HDFS是Hadoop的分布式文件系統(tǒng),也是Google公司設(shè)計(jì)的GFS的一種開源實(shí)現(xiàn),所以其

2、基本結(jié)構(gòu)與GFS一致,都屬于主從模式。目前,由于Hadoop在云計(jì)算領(lǐng)域被越來越廣泛地使用,以及HDFS本身優(yōu)秀的存儲能力, HDFS受到了廣泛關(guān)注,許多公司和科研單位紛紛開展HDFS的研究工作。但是,HDFS仍有許多不完善的地方,它仍在不停地改進(jìn)和更新。
　　本文深入分析了HDFS的結(jié)構(gòu)和運(yùn)行機(jī)制,指出了其部分設(shè)計(jì)缺陷,針對HDFS的副本策略進(jìn)行改進(jìn),主要工作如下:
　　(1) HDFS默認(rèn)的靜態(tài)副本冗余策略并不能區(qū)分熱點(diǎn)

3、數(shù)據(jù),導(dǎo)致存放這些數(shù)據(jù)的節(jié)點(diǎn)成為集群的一個(gè)瓶頸。針對這一問題,本文提出了一種基于數(shù)據(jù)熱度的動態(tài)冗余策略。該策略統(tǒng)計(jì)并預(yù)測每個(gè)文件的訪問情況,并且每個(gè)文件的統(tǒng)計(jì)周期隨其訪問頻率的變化而變化,這樣能快速反映出數(shù)據(jù)熱度的趨勢,及時(shí)增加或減少副本。使用該策略能加快系統(tǒng)響應(yīng)速度,提高集群的吞吐量,減少作業(yè)時(shí)間。
　　(2) HDFS沒有考慮DataNode的異構(gòu)性,如果性能差的節(jié)點(diǎn)存放了更多的數(shù)據(jù),那么讀取、處理數(shù)據(jù)時(shí)低性能節(jié)點(diǎn)需要承擔(dān)更多

4、的負(fù)載,閑置了高性能節(jié)點(diǎn)的處理能力,負(fù)載分配不均衡。針對這一問題,本文提出了一種基于節(jié)點(diǎn)性能評價(jià)和網(wǎng)絡(luò)距離的放置策略。首先提供一個(gè)接口讓用戶自定義節(jié)點(diǎn)狀態(tài)信息并配置其權(quán)重,然后使用改進(jìn)的TOPSIS算法評價(jià)節(jié)點(diǎn),最后綜合網(wǎng)絡(luò)距離選擇節(jié)點(diǎn)放置副本。該策略允許用戶自行設(shè)置關(guān)注點(diǎn),并且在此基礎(chǔ)上均衡各節(jié)點(diǎn)的負(fù)載,提高系統(tǒng)整體性能。
　　(3)進(jìn)行大量仿真和實(shí)驗(yàn),并且基于改進(jìn)的HDFS集群開發(fā)了C/S模型的云存儲系統(tǒng),用HDFS默認(rèn)策略對