基于HDFS的云存儲(chǔ)平臺(tái)在企業(yè)信息管理系統(tǒng)中的應(yīng)用研究.pdf

1、伴隨著現(xiàn)代科技的發(fā)展，各種信息呈現(xiàn)出爆炸是級(jí)數(shù)增長(zhǎng)的方式。普通的存儲(chǔ)體系的結(jié)構(gòu)與方式已不再適應(yīng)現(xiàn)代煤炭企業(yè)的爆炸式增長(zhǎng)數(shù)據(jù)存儲(chǔ)的需求，基于云計(jì)算的云存儲(chǔ)系統(tǒng)便應(yīng)運(yùn)而生。HDFS(Hadoop Distributed FileSystem)作為Hadoop技術(shù)框架的一部分，被稱為是分布式文件存儲(chǔ)系統(tǒng)。
　　目前，國(guó)內(nèi)外很多大型企業(yè)都利用HDFS來進(jìn)行海量數(shù)據(jù)的存儲(chǔ)與管理，HDFS體系結(jié)構(gòu)構(gòu)造之初是為了系統(tǒng)存儲(chǔ)占用空間較大的文件而進(jìn)行

2、開發(fā)的，但隨著HDFS分布式文件應(yīng)用范圍越來越廣，在某些應(yīng)用環(huán)境中，存在大量的小文件，會(huì)導(dǎo)致分布式文件系統(tǒng)便出現(xiàn)存儲(chǔ)瓶頸，如何高效處理這樣類型的文件成為一個(gè)亟待解決的問題。
　　本文針對(duì)HDFS存儲(chǔ)小文件的問題展開了研究，對(duì)HDFS存儲(chǔ)前的小文件處理工作和存儲(chǔ)后的檢索分別提出了改進(jìn)方法，并將其應(yīng)用于煤炭企業(yè)的云存儲(chǔ)平臺(tái)。首先，在原有HDFS存儲(chǔ)結(jié)構(gòu)上添加小文件處理單元，目的在于對(duì)小文件進(jìn)行判斷和合并處理，小文件的索引和內(nèi)容以追加寫

3、的方式存入合并文件，解決了大量小文件零散存儲(chǔ)帶來的浪費(fèi)空間問題。其次，在改進(jìn)后的存儲(chǔ)結(jié)構(gòu)上，提出二級(jí)索引機(jī)制，將合并索引與合并文件同時(shí)存儲(chǔ)在數(shù)字節(jié)點(diǎn)上，僅用名字節(jié)點(diǎn)上的一條元數(shù)據(jù)記錄合并文件中的小文件的文件名信息，用逐級(jí)索引解析的方式進(jìn)行小文件的查找定位，節(jié)約了名字節(jié)點(diǎn)內(nèi)存，提高了訪問效率。最后，開發(fā)了以基于HDFS的云存儲(chǔ)平臺(tái)，并以煤炭企業(yè)生產(chǎn)與統(tǒng)計(jì)系統(tǒng)為例，詳細(xì)闡述了HDFS云存儲(chǔ)平臺(tái)在企業(yè)信息管理系統(tǒng)中的應(yīng)用。
　　本系統(tǒng)采