基于HDFS的云存儲平臺在企業(yè)信息管理系統(tǒng)中的應用研究.pdf

1、伴隨著現代科技的發(fā)展，各種信息呈現出爆炸是級數增長的方式。普通的存儲體系的結構與方式已不再適應現代煤炭企業(yè)的爆炸式增長數據存儲的需求，基于云計算的云存儲系統(tǒng)便應運而生。HDFS(Hadoop Distributed FileSystem)作為Hadoop技術框架的一部分，被稱為是分布式文件存儲系統(tǒng)。
　　目前，國內外很多大型企業(yè)都利用HDFS來進行海量數據的存儲與管理，HDFS體系結構構造之初是為了系統(tǒng)存儲占用空間較大的文件而進行

2、開發(fā)的，但隨著HDFS分布式文件應用范圍越來越廣，在某些應用環(huán)境中，存在大量的小文件，會導致分布式文件系統(tǒng)便出現存儲瓶頸，如何高效處理這樣類型的文件成為一個亟待解決的問題。
　　本文針對HDFS存儲小文件的問題展開了研究，對HDFS存儲前的小文件處理工作和存儲后的檢索分別提出了改進方法，并將其應用于煤炭企業(yè)的云存儲平臺。首先，在原有HDFS存儲結構上添加小文件處理單元，目的在于對小文件進行判斷和合并處理，小文件的索引和內容以追加寫

3、的方式存入合并文件，解決了大量小文件零散存儲帶來的浪費空間問題。其次，在改進后的存儲結構上，提出二級索引機制，將合并索引與合并文件同時存儲在數字節(jié)點上，僅用名字節(jié)點上的一條元數據記錄合并文件中的小文件的文件名信息，用逐級索引解析的方式進行小文件的查找定位，節(jié)約了名字節(jié)點內存，提高了訪問效率。最后，開發(fā)了以基于HDFS的云存儲平臺，并以煤炭企業(yè)生產與統(tǒng)計系統(tǒng)為例，詳細闡述了HDFS云存儲平臺在企業(yè)信息管理系統(tǒng)中的應用。
　　本系統(tǒng)采