云存儲(chǔ)中數(shù)據(jù)的分發(fā)與遷移機(jī)制的研究.pdf

1、隨著云時(shí)代的來(lái)臨,大數(shù)據(jù)(Big data)也吸引了越來(lái)越多行業(yè)以及學(xué)術(shù)界的關(guān)注。近些年中，數(shù)據(jù)以指數(shù)級(jí)的速度增長(zhǎng)，為了保證數(shù)據(jù)中心的對(duì)外提供服務(wù)的質(zhì)量，實(shí)現(xiàn)更好的分布式文件存儲(chǔ)，大多數(shù)企業(yè)在云計(jì)算（或云模型）使用特定形式和服務(wù)來(lái)訪問(wèn)或存儲(chǔ)各種資源來(lái)對(duì)外服務(wù)，動(dòng)態(tài)數(shù)據(jù)遷移技術(shù)能夠把訪問(wèn)量高的數(shù)據(jù)遷移到其他服務(wù)器中，從而有效的緩解了I/O瓶頸的問(wèn)題，并且減少他們的運(yùn)營(yíng)成本。動(dòng)態(tài)遷移技術(shù)把分散在各個(gè)物理主機(jī)中的數(shù)據(jù)進(jìn)行遷移，并以各種不同的方

2、式存儲(chǔ)在服務(wù)器中，使得數(shù)據(jù)的存儲(chǔ)位置具有很大的靈活性。因此，“云提供商”提供的服務(wù)，通過(guò)使用動(dòng)態(tài)數(shù)據(jù)遷移技術(shù)，以實(shí)現(xiàn)多重目標(biāo)，包括收入最大化，運(yùn)營(yíng)成本降低，以及綠色I(xiàn)T，或者保證不同地理位置的用戶(hù)的服務(wù)需求。因此，最近的一些研究更側(cè)重于如何設(shè)計(jì)或者改進(jìn)動(dòng)態(tài)數(shù)據(jù)遷移的算法。
　　在大數(shù)據(jù)分析以及非結(jié)構(gòu)化數(shù)據(jù)蔓延的背景下，Hadoop受到了前所未有的關(guān)注，分布式文件系統(tǒng)HDFS（Hadoop Distributed File Syst

3、em）作為其中的一個(gè)項(xiàng)目，作為一個(gè)分布式文件存儲(chǔ)系統(tǒng)，它可以進(jìn)行文件的操作，例如，創(chuàng)建、刪除、移動(dòng)或重命名等。但是HDFS的架構(gòu)是基于一組特定的節(jié)點(diǎn)構(gòu)建的，這是由它自身的特點(diǎn)決定的。這些節(jié)點(diǎn)包括NameNode（僅一個(gè)），它在HDFS內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode為HDFS提供存儲(chǔ)塊。雖然DataNode會(huì)周期性地將所有存在的Block信息發(fā)送給NameNode，但是NameNode之間并不知道其他NameNode內(nèi)部所存儲(chǔ)的數(shù)據(jù)

4、信息情況。
　　因此，本文進(jìn)一步研究的HDFS的系統(tǒng)架構(gòu)和節(jié)點(diǎn)之間的關(guān)系，設(shè)計(jì)出一種高效，動(dòng)態(tài)的數(shù)據(jù)遷移算法進(jìn)而優(yōu)化遷移性能。在本文中，研究了多個(gè)NameNode節(jié)點(diǎn)之間信息副本同步性和數(shù)據(jù)的動(dòng)態(tài)游走的問(wèn)題。首先本文提出了多個(gè)NameNode之間創(chuàng)建mapping-table表，把數(shù)據(jù)遷移的具體信息寫(xiě)入到該表中，使得數(shù)據(jù)在節(jié)點(diǎn)之間的一致性和動(dòng)態(tài)遷移，實(shí)現(xiàn)了高效實(shí)時(shí)的分布式的數(shù)據(jù)遷移機(jī)制。然后，基于貝葉斯算法對(duì)“冷”數(shù)據(jù)進(jìn)行合理的刪