基于Hadoop的車聯(lián)網(wǎng)數(shù)據(jù)存儲策略研究與優(yōu)化.pdf

1、車聯(lián)網(wǎng)系統(tǒng)能極大的改善城市的交通狀況，但是它會產(chǎn)生大量的數(shù)據(jù)，如何存儲海量的車聯(lián)網(wǎng)數(shù)據(jù)成了一項(xiàng)艱巨的挑戰(zhàn)，而云計(jì)算可以提供海量的存儲。Hadoop是一個開源的云計(jì)算框架，也是目前應(yīng)用最廣的云計(jì)算平臺，Hadoop上所有的數(shù)據(jù)都存儲在HDFS上，對于HDFS的優(yōu)化得到越來越多的研究者的重視。但HDFS的存儲策略存在一些缺陷，如數(shù)據(jù)副本個數(shù)固定和選擇節(jié)點(diǎn)時沒有考慮到節(jié)點(diǎn)的實(shí)際運(yùn)行情況，造成數(shù)據(jù)分布不均勻和節(jié)點(diǎn)負(fù)載不均衡等問題。本文針對上述問

2、題展開研究，提出了ART存儲策略來改進(jìn) HDFS的存儲性能，ART存儲策略包括區(qū)域劃分算法、動態(tài)數(shù)據(jù)副本算法和基于代價的節(jié)點(diǎn)選擇算法。
　　在區(qū)域劃分算法中，根據(jù)節(jié)點(diǎn)的性能和對服務(wù)的響應(yīng)質(zhì)量，將HDFS中的DataNodes劃分成High-Zone和Low-Zone兩個區(qū)域，High-Zone中的節(jié)點(diǎn)具有較高的剩余性能，存儲數(shù)據(jù)時應(yīng)該優(yōu)先選擇處于該區(qū)域的中節(jié)點(diǎn)。為了完成區(qū)域劃分算法，本文定義了節(jié)點(diǎn)性能和節(jié)點(diǎn)負(fù)載的計(jì)算方法，引入了數(shù)

3、據(jù)訪問頻度，同時也為后續(xù)的改進(jìn)打下基礎(chǔ)。動態(tài)數(shù)據(jù)副本在保證數(shù)據(jù)有效性的前提下，綜合集群中數(shù)據(jù)節(jié)點(diǎn)的失效率和數(shù)據(jù)的訪問頻度，動態(tài)的計(jì)算每個文件應(yīng)該保存的副本個數(shù)，該算法既減少了數(shù)據(jù)冗余，又能保證數(shù)據(jù)讀取的性能。基于代價的節(jié)點(diǎn)選擇算法改進(jìn)了HDFS在選擇節(jié)點(diǎn)時的隨機(jī)性，定義了節(jié)點(diǎn)間數(shù)據(jù)的傳輸代價，結(jié)合節(jié)點(diǎn)的實(shí)際性能和負(fù)載，設(shè)計(jì)了選擇某個節(jié)點(diǎn)的代價的計(jì)算方法。在選擇節(jié)點(diǎn)時，通過計(jì)算節(jié)點(diǎn)的代價找出最適合存儲數(shù)據(jù)的節(jié)點(diǎn)。
　　實(shí)驗(yàn)部分，分別