Hadoop云存儲(chǔ)策略的研究與優(yōu)化.pdf

1、隨著云計(jì)算技術(shù)的發(fā)展以及被業(yè)界所逐漸接受，與之相隨的云存儲(chǔ)系統(tǒng)也得到相應(yīng)的發(fā)展，越來越多的企業(yè)和科研機(jī)構(gòu)開始使用云平臺(tái)構(gòu)建各自的云存儲(chǔ)體系，而在眾多云平臺(tái)中，開源實(shí)現(xiàn)的Hadoop云平臺(tái)得到了業(yè)界廣泛的應(yīng)用，包括Yahoo、Facebook以及IBM等。Hadoop云平臺(tái)對(duì)數(shù)據(jù)的存儲(chǔ)主要是由其分布式文件系統(tǒng)HDFS實(shí)現(xiàn)的，因此對(duì)于HDFS的研究成為了很多公司構(gòu)建各自云存儲(chǔ)系統(tǒng)的基礎(chǔ)。
　　 HDFS系統(tǒng)默認(rèn)的存儲(chǔ)策略雖然可以有效

2、的解決大數(shù)據(jù)的存儲(chǔ)但是在現(xiàn)實(shí)應(yīng)用中卻存在一些不足，在默認(rèn)的HDFS存儲(chǔ)策略中，數(shù)據(jù)節(jié)點(diǎn)的狀態(tài)信息不夠完善以及隨機(jī)選擇數(shù)據(jù)節(jié)點(diǎn)，使得控制節(jié)點(diǎn)在選擇數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)的時(shí)候容易出現(xiàn)系統(tǒng)負(fù)載不均衡，另外當(dāng)隨機(jī)選擇遠(yuǎn)端節(jié)點(diǎn)進(jìn)行存儲(chǔ)的時(shí)候可能會(huì)造成因?yàn)楣?jié)點(diǎn)之間網(wǎng)絡(luò)距離較遠(yuǎn)而造成數(shù)據(jù)傳輸時(shí)間過長(zhǎng)損耗系統(tǒng)性能的現(xiàn)象，同時(shí)由于HDFS默認(rèn)存儲(chǔ)策略采用了固定的數(shù)據(jù)副本個(gè)數(shù)，在實(shí)際應(yīng)用中可能會(huì)導(dǎo)致系統(tǒng)中數(shù)據(jù)冗余太多，影響系統(tǒng)的負(fù)載能力。因此解決了上述問題，就可以

3、在一定程度上提高HDFS系統(tǒng)的存儲(chǔ)性能。
　　 所以，本文在分析HDFS默認(rèn)策略的不足之后，基于HDFS設(shè)計(jì)一種優(yōu)化的存儲(chǔ)策略。該策略首先對(duì)數(shù)據(jù)節(jié)點(diǎn)的狀態(tài)信息進(jìn)行完善，為控制節(jié)點(diǎn)在選擇數(shù)據(jù)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)存儲(chǔ)的時(shí)候提供了更多的依據(jù)。其次，該策略可以根據(jù)用戶的實(shí)際需求設(shè)置數(shù)據(jù)副本系數(shù)。再次，在隨機(jī)選擇數(shù)據(jù)節(jié)點(diǎn)時(shí)采用了評(píng)價(jià)值方法，即根據(jù)節(jié)點(diǎn)的負(fù)載情況以及與本地節(jié)點(diǎn)的網(wǎng)絡(luò)距離計(jì)算該節(jié)點(diǎn)的評(píng)價(jià)值。最后通過將優(yōu)化后的策略部署到仿真實(shí)驗(yàn)平臺(tái)上，