基于HDFS的小文件處理與副本策略優(yōu)化研究.pdf

1、作為GFS的開源實(shí)現(xiàn),Hadoop Distributed File System(HDFS)在大文件的處理上表現(xiàn)突出,然而在處理小文件時(shí)卻效率低下,主要因?yàn)楹Ａ啃∥募浅：馁M(fèi) NameNode節(jié)點(diǎn)的內(nèi)存,從而使得單一的 NameNode節(jié)點(diǎn)容易成為整個(gè)集群的性能瓶頸。
　　此外,HDFS采用靜態(tài)三副本策略,以機(jī)架感知的方式確定副本的存放位置。這一策略雖然可以部分實(shí)現(xiàn)容錯(cuò)和負(fù)載均衡,但缺陷也非常明顯,策略過于僵化,不僅造成較大的存

2、儲(chǔ)資源浪費(fèi),而且負(fù)載均衡效果也不理想。
　　針對HDFS處理小文件時(shí)存在的不足,本文提出了基于索引機(jī)制的小文件處理優(yōu)化方案,核心思想是通過DataNode部分替代NameNode的作用,以分散小文件處理的壓力,解決HDFS在大量請求下的單NameNode瓶頸問題,同時(shí)引入緩存策略,進(jìn)一步優(yōu)化文件讀取效率。此外,為了實(shí)現(xiàn)均衡存儲(chǔ),本文提出了DataNode節(jié)點(diǎn)綜合量化指標(biāo),并在此基礎(chǔ)上提出了動(dòng)態(tài)副本策略,實(shí)現(xiàn)了動(dòng)態(tài)副本放置算法。歸納

3、整個(gè)研究過程,本文主要取得了以下幾點(diǎn)創(chuàng)新成果:
　　1、針對 HDFS處理小文件效率低下的問題,本文提出了更為通用的基于索引機(jī)制的小文件處理優(yōu)化方案,實(shí)現(xiàn)了小文件的分布式處理,降低了NameNode節(jié)點(diǎn)的瓶頸效應(yīng),提升了小文件的處理效率;
　　2、在索引方案基礎(chǔ)上,本文將緩存策略引入文件讀取過程中,實(shí)現(xiàn)了分布式獨(dú)立緩存,優(yōu)化了HDFS的I/O操作,提高了HDFS文件讀取速度;
　　3、針對HDFS原有的靜態(tài)三副本策略導(dǎo)