HDFS優(yōu)化研究及其在云存儲平臺中應用.pdf

1、隨著信息化時代的發(fā)展，人們更多的依賴網(wǎng)絡，導致互聯(lián)網(wǎng)用戶的激增，網(wǎng)絡信息數(shù)據(jù)量呈爆炸式增長，這些數(shù)據(jù)中有百分之八十是文件、圖像、音頻等大文件，數(shù)據(jù)量甚至會達到 PB級。如此海量的數(shù)據(jù)存儲成為當前研究的熱點，也逐漸地成為制約企業(yè)長足發(fā)展的問題。于是，構建高可用的存儲網(wǎng)絡成為當下的研究熱門，分布式文件存儲系統(tǒng)便應運而生。HDFS運用于海量數(shù)據(jù)存儲的場景，但是在架構上仍存在不足，因此，本文提出一種改進的方案并將優(yōu)化后的HDFS應用到實際場景中

2、。所做的主要工作如下：
　　首先，針對HDFS的單一namenode架構問題，提出搭建datanode集群的優(yōu)化方案。在該方案中搭建datanode集群，每個小集群中都有一個namenode管理集群中的各datanode，同時將namenode中文件元數(shù)據(jù)信息緩存到datanode集群中，這樣就減少了客戶端與namenode的交互所帶來的namenode的內存壓力。優(yōu)化后的HDFS中會包括多個namenode，其中某一個集群中的n

3、amenode失效也不會導致整個HDFS癱瘓。此外，設計了索引服務，管理文件到namenode的映射，從而在架構上提升整體HDFS的性能。
　　其次，搭建優(yōu)化后的HDFS集群并實際應用到基于云計算的高校綜合信息管理平臺，解決了平臺上各應用的文件存儲問題。在優(yōu)化后的HDFS集群上用java語言設計實現(xiàn)了供各應用存儲的HDFS存儲服務和RMI遠程調用存儲服務。為了將平臺上各應用上傳的文件進行統(tǒng)一管理，使用ZK+Spring+Strut