Hadoop分布式文件系統(tǒng)下載策略改進(jìn)研究.pdf

1、分類號(hào)TP3115密級(jí)公開重慶郵電大學(xué)碩士學(xué)位論文論文題目Hadoop分布式文件系統(tǒng)下載篆堅(jiān)墮壟墮窒英文題目ResearchontheStrategytoImprovetheHadoopDistributedFileSystemDownloadingPerformance碩士研究生蔣仁祥學(xué)科專業(yè)計(jì)算機(jī)軟件與理論論文提交日期2Q曼2生壘且論文答辯日期2Q堇2璽5目2亟目論文評(píng)閱人答辯委員會(huì)主席王越教授重慶理工大學(xué)2012年5月重慶郵電大學(xué)

2、碩士論文摘要摘要Hadoop是當(dāng)今應(yīng)用最為廣泛的開源云計(jì)算平臺(tái)，主要由Hadoop分布式文件系統(tǒng)(HDFS，HadoopDistributedFileSystem)和MapReduce框架組成。當(dāng)前Hadoop分布式文件系統(tǒng)采取的下載策略使客戶端在從文件系統(tǒng)下載文件過(guò)程中下載效率低下而且不利于集群負(fù)載均衡，導(dǎo)致用戶對(duì)Hadoop分布式文件系統(tǒng)的體驗(yàn)感受較差。為了解決Hadoop分布式文件系統(tǒng)存在的上述問(wèn)題，本文基于并行下載思想，分別設(shè)計(jì)

3、出：(1)文件級(jí)并行下載策略，在下載文件過(guò)程中，并行下載文件每個(gè)數(shù)據(jù)塊：(2)數(shù)據(jù)塊級(jí)并行下載策略，在下載文件的某個(gè)數(shù)據(jù)塊時(shí)，從多個(gè)節(jié)點(diǎn)并行下載數(shù)據(jù)塊：(3)應(yīng)用了一種速度自適應(yīng)的動(dòng)態(tài)并行下載機(jī)制的并行下載策略，在下載文件數(shù)據(jù)塊的過(guò)程中，客戶端同多個(gè)數(shù)據(jù)節(jié)點(diǎn)建立連接并行下載數(shù)據(jù)塊，并根據(jù)各連接帶寬比，動(dòng)態(tài)分配下載任務(wù)。這三種下載策略在下載效率和集群負(fù)載均衡方面均優(yōu)于Hadoop分布式文件系統(tǒng)的原始下載策略。策略(1)的下載效率和文件數(shù)據(jù)

4、塊在HDFS中的分布息息相關(guān)；策略(2)在文件數(shù)據(jù)塊副本系數(shù)較大的情況下下載效率較高，且實(shí)現(xiàn)復(fù)雜度較低；策略(3)的綜合下載性能最優(yōu)，能夠根據(jù)網(wǎng)絡(luò)帶寬的變化動(dòng)態(tài)重分配下載任務(wù)。本文實(shí)驗(yàn)中，用10臺(tái)PC機(jī)搭建了一個(gè)小型Hadoop平臺(tái)，在此平臺(tái)上進(jìn)行改進(jìn)前和改進(jìn)后的Hadoop分布式文件系統(tǒng)下載性能對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)主要從Hadoop分布式文件系統(tǒng)的原始策略和改進(jìn)后的每種策略的下載時(shí)間和集群負(fù)載均衡兩方面進(jìn)行對(duì)比分析。實(shí)驗(yàn)證明，在相同條件下改