基于HDFS默認(rèn)副本選擇機制的改進和實現(xiàn).pdf

1、隨著人類社會快速的發(fā)展，人們?nèi)粘Ｉ町a(chǎn)生了海量數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理方法已不適合海量數(shù)據(jù)的分析處理，Hadoop應(yīng)運而生。Hadoop有兩個最核心的組成部分，分別是MapReduce和HDFS。MapReduce具有處理分析海量數(shù)據(jù)的能力，HDFS具有存儲和管理海量數(shù)據(jù)的能力。HDFS的副本選擇機制直接影響著數(shù)據(jù)的可靠性、可用性、均衡性和讀取效率。由于HDFS默認(rèn)副本選擇機制選擇副本的存放位置具有一定的隨機性且未充分考慮數(shù)據(jù)節(jié)點的負(fù)載狀況

2、，進而出現(xiàn)HDFS數(shù)據(jù)分布不均勻和Hadoop集群負(fù)載不均衡等問題，本文對HDFS的默認(rèn)副本選擇機制進行改進和實現(xiàn)，主要包含以下方面:
　　首先，本文提出根據(jù)數(shù)據(jù)節(jié)點當(dāng)前的CPU使用率、內(nèi)存使用率、磁盤IO使用率、磁盤使用率以及帶寬使用率五個因素綜合描述其在集群中的負(fù)載狀況，這五個因素為數(shù)據(jù)節(jié)點負(fù)載狀況的量化打下了基礎(chǔ)。根據(jù)每種因素對數(shù)據(jù)節(jié)點負(fù)載影響的大小賦予其不同的權(quán)重值，量化數(shù)據(jù)節(jié)點負(fù)載狀況的數(shù)值。
　　其次，本文剖析D

3、ataNode到NameNode周期性心跳機制的原理，改進的副本選擇機制利用心跳機制將影響數(shù)據(jù)節(jié)點負(fù)載的因素匯報給NameNode，使NameNode掌握整個集群數(shù)據(jù)節(jié)點的負(fù)載狀況。通過對HDFS默認(rèn)副本選擇機制的分析，針對其存在的缺陷，根據(jù)每個數(shù)據(jù)節(jié)點、機架的負(fù)載狀況以及集群中所有數(shù)據(jù)節(jié)點的平均負(fù)載狀況，提出了對HDFS默認(rèn)副本選擇機制的改進方法。
　　最后，編譯修改后的HDFS源代碼，搭建Hadoop集群環(huán)境，以本文改進的HD