Hadoop平臺下文件副本存儲改進(jìn)及小文件合并存取優(yōu)化的研究.pdf

1、分類號密級UDC學(xué)校代碼10497學(xué)位論文題目Hadoop平臺下文件副本存儲改進(jìn)及小文件合并存取優(yōu)化的研究英文ResearchofImprovingStageofReplicaSmallFiles題目MergingAccessOptimizationonHadoopPlatfm研究生姓名李宇文姓名李玉強(qiáng)職稱副教授學(xué)位博士單位名稱計算機(jī)科學(xué)與技術(shù)學(xué)院郵編430063申請學(xué)位級別碩士學(xué)科專業(yè)名稱軟件工程論文提交日期2015年04月論文答辯日

2、期2015年05月學(xué)位授予單位武漢理工大學(xué)學(xué)位授予日期答辯委員會主席評閱人2015年5月指導(dǎo)教師武漢理工大學(xué)碩士學(xué)位論文I摘要近年來，“大數(shù)據(jù)”技術(shù)已經(jīng)逐漸成為學(xué)術(shù)界和工業(yè)界關(guān)注的熱點(diǎn)問題。而Hadoop作為處理大數(shù)據(jù)的開發(fā)平臺之一，不僅給我們帶來了廉價的處理大數(shù)據(jù)的能力，同時還實(shí)現(xiàn)了代碼開源化。其中，HDFS作為Hadoop最底層的分布式文件系統(tǒng)，存儲著集群中所有存儲節(jié)點(diǎn)的數(shù)據(jù)，它除了為MapReduce提供了高效的讀寫性能外，還有著

3、高容錯性和高吞吐量的特點(diǎn)。但是，HDFS對于這種多副本的存儲設(shè)計采用了串行流水線式的存儲方式，其制約了副本在HDFS中的存儲性能。同時，隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，海量小文件的數(shù)據(jù)急劇增多，Hadoop秉承存儲海量大文件的設(shè)計理念，在海量小文件的處理上嚴(yán)重制約了其存取性能。為此，本文針對上述兩個問題展開了深入的研究，主要的工作內(nèi)容及創(chuàng)新點(diǎn)總結(jié)如下：本文針對HDFS中副本的串行存儲方式所表現(xiàn)出來存儲效率低下的問題，并根據(jù)相關(guān)研究人員提出的并

4、行化存儲方法，提出一種新的設(shè)計方案。結(jié)合該方案的優(yōu)化設(shè)計思想，深入詳細(xì)地分析了HDFS下的存儲架構(gòu)，以及相關(guān)類和數(shù)據(jù)塊的結(jié)構(gòu)，找到需要改進(jìn)之處。通過創(chuàng)建與pipeline管道中所有DataNode節(jié)點(diǎn)的socket連接，實(shí)現(xiàn)了文件副本的并行存儲。針對海量小文件嚴(yán)重制約Hadoop的IO性能的問題，本文提出在基于Hadoop下自帶的SequenceFile合并方案的基礎(chǔ)上，實(shí)現(xiàn)基于B樹索引的小文件讀取方案，在提高小文件查找效率的同時，降低

5、了小文件的元數(shù)據(jù)對NameNode節(jié)點(diǎn)內(nèi)存空間的占用率，從而提高小文件的讀取效率。在該方案的實(shí)現(xiàn)中，本文首先給出了B樹索引結(jié)構(gòu)的設(shè)計。其次，針對B樹索引的構(gòu)建與查找功能做了詳細(xì)的分析與實(shí)現(xiàn)。最后，結(jié)合對HDFS文件讀取過程的分析，實(shí)現(xiàn)了SequenceFile下基于B樹索引的小文件讀取過程。最后，搭建Hadoop系統(tǒng)集群，通過一系列的仿真實(shí)驗，驗證了本文所提出的兩個設(shè)計方案在文件的存儲速率和小文件的讀取速率上是有效的。關(guān)鍵字：關(guān)鍵字：H