基于HDFS的云計(jì)算動(dòng)態(tài)副本策略研究.pdf

1、隨著信息技術(shù)的高速發(fā)展，密集型的計(jì)算和大規(guī)模的存儲(chǔ)需求日益凸顯。云計(jì)算因其超強(qiáng)的計(jì)算能力、低廉的價(jià)格、獲取資源方便、可擴(kuò)展性強(qiáng)在科技產(chǎn)品上得到了廣泛的應(yīng)用，也成為了學(xué)者研究的熱點(diǎn)。云計(jì)算中的副本資源管理技術(shù)是影響系統(tǒng)性能的關(guān)鍵技術(shù)之一，也是保證云存儲(chǔ)系統(tǒng)高可靠性的核心要素。然而，目前被大量應(yīng)用的基于Hadoop的云計(jì)算在某些方面仍存在著不足：
　　首先，HDFS默認(rèn)的副本策略是靜態(tài)的，如果在短時(shí)間內(nèi)，用戶大量訪問某些信息，這些對(duì)象

2、就成為了“熱點(diǎn)文件”，熱點(diǎn)問題會(huì)降低用戶訪問的速度，影響系統(tǒng)讀取性能；其次，副本資源調(diào)度缺乏標(biāo)準(zhǔn)性。副本動(dòng)態(tài)調(diào)整的核心是根據(jù)需求增加或減少副本的數(shù)量，目前在副本個(gè)數(shù)的計(jì)算上沒有一個(gè)明確的標(biāo)準(zhǔn)，大多采用“需要就增加”的方式。而在副本刪除的策略上一般選擇存在時(shí)間久的副本進(jìn)行刪除，其缺乏理論依據(jù)；最后，目前存在的一些副本放置算法，大部分未考慮節(jié)點(diǎn)的異構(gòu)性，對(duì)節(jié)點(diǎn)進(jìn)行均一化處理，這樣的處理方式是不準(zhǔn)確的。另外，目前的一些放置算法，也存在時(shí)間復(fù)雜

3、度太高，模型太過簡(jiǎn)單等問題。
　　根據(jù)上述不足，本文在前人的研究基礎(chǔ)上做了以下工作：
　?。?）針對(duì)默認(rèn)HDFS靜態(tài)副本策略在大量文件訪問請(qǐng)求的情況下出現(xiàn)服務(wù)質(zhì)量降低的缺點(diǎn)，本文在原生HDFS文件系統(tǒng)之上進(jìn)行了改進(jìn)，增加了中央控制器、平衡計(jì)時(shí)器、訪問緩存以及歷史記錄棧，改進(jìn)后的系統(tǒng)能夠動(dòng)態(tài)的調(diào)整副本數(shù)量。
　?。?）針對(duì)副本資源調(diào)度缺乏標(biāo)準(zhǔn)性的問題，本文在副本個(gè)數(shù)的計(jì)算上根據(jù)用戶的訪問情況來計(jì)算副本塊被訪問的頻率，由該

4、頻率與平均頻率的比值來確定應(yīng)該維持的副本個(gè)數(shù)。對(duì)于副本刪除策略，本文從計(jì)算服務(wù)器、機(jī)架、功能模塊三個(gè)方面選擇性能較差的節(jié)點(diǎn)刪除副本。
　?。?）對(duì)于副本放置策略，本文選擇了典型的數(shù)據(jù)中心三層網(wǎng)絡(luò)結(jié)構(gòu)，提出了基于四級(jí)維度網(wǎng)絡(luò)感知(SRMD)的副本放置算法，在該算法中，分別從計(jì)算服務(wù)器、計(jì)算機(jī)架、功能模塊、節(jié)點(diǎn)網(wǎng)絡(luò)距離四個(gè)方面綜合考慮服務(wù)器節(jié)點(diǎn)性能，確定最優(yōu)的節(jié)點(diǎn)進(jìn)行副本放置作業(yè)。利用云計(jì)算仿真軟件CloudSim3.0來模擬一個(gè)復(fù)雜