基于Hadoop的分布式副本管理策略研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡中產(chǎn)生的數(shù)據(jù)量呈指數(shù)級增長趨勢，如何對海量數(shù)據(jù)進行高效的存取已經(jīng)成了計算機領域的一個研究熱點。HDFS(HadoopDistributed File System)是Hadoop的一個分布式文件系統(tǒng)，它可以部署運行在普通的硬件服務器上。HDFS具有高可靠性，支持海量數(shù)據(jù)的高效存取。HDFS放開了部分POSIX約束，支持以流的形式讀寫數(shù)據(jù)。
　　HDFS仍是一個處在發(fā)展和完善階段的云存儲系統(tǒng)，現(xiàn)有的數(shù)據(jù)管理

2、策略依然存在許多不足之處。HDFS現(xiàn)有的副本管理策略在創(chuàng)建副本時，創(chuàng)建的副本個數(shù)是固定的;創(chuàng)建的副本在選取存儲節(jié)點Datanode時，采用的是隨機選取的算法?，F(xiàn)有的副本管理策略存在系統(tǒng)存儲空間的浪費，集群負載不均衡，性能不高等問題。
　　本文通過對HDFS分布式文件系統(tǒng)的存儲原理進行分析，結(jié)合云存儲領域的相關知識、理論，對HDFS現(xiàn)有的副本管理策略進行了改進。主要包括以下方面的內(nèi)容:
　　(1)對HDFS默認的副本放置策略進

3、行了改進。HDFS默認的數(shù)據(jù)放置策略是隨機選取Datanode節(jié)點進行副本存放。然而集群中每個Datanode節(jié)點的性能和負載是不一致的，集群中有些節(jié)點處于高負荷狀態(tài)，有些節(jié)點處于低負荷狀態(tài)，有一些節(jié)點是新加入的;隨機的選取Datanode節(jié)點進行副本存放，集群容易產(chǎn)生負載不均衡。改進后的副本放置策略通過對Datanode節(jié)點的性能和負載進行分析，根據(jù)得到的權(quán)值選擇最優(yōu)的節(jié)點進行副本的放置。
　　(2)對HDFS默認的副本創(chuàng)建策略

4、進行了改進。改進后的策略通過對文件最近一段時間的訪問熱度和訪問趨勢進行統(tǒng)計分析，根據(jù)文件的訪問熱度值和訪問趨勢動態(tài)的調(diào)整副本的個數(shù);根據(jù)系統(tǒng)的可靠性要求和副本的可用性計算副本的默認創(chuàng)建個數(shù)。改進后的策略使得集群的整體性能和數(shù)據(jù)處理效率得到了進一步的提升。
　　(3)搭建HDFS分布式存儲環(huán)境，分別對改進的副本放置策略和副本創(chuàng)建策略進行實驗驗證。實驗結(jié)果表明改進后的副本管理策略充分利用了集群中各個Datanode節(jié)點的性能，提高了集