面向工業(yè)大數(shù)據(jù)存儲(chǔ)虛擬化遷移方法研究.pdf

1、近半個(gè)世紀(jì)以來，在摩爾定律的支配下，信息技術(shù)呈現(xiàn)出了前所未有的繁榮景象，互聯(lián)網(wǎng)技術(shù)也不斷改革創(chuàng)新。根據(jù)IDC預(yù)測(cè)，當(dāng)前形勢(shì)下每年產(chǎn)生的數(shù)據(jù)量高達(dá)8ZB，到2020年這個(gè)數(shù)字將逐漸增加至40ZB，這預(yù)示著大數(shù)據(jù)時(shí)代已經(jīng)到來。隨著大數(shù)據(jù)對(duì)工業(yè)企業(yè)各種限制的不斷突破，數(shù)據(jù)將會(huì)在工業(yè)產(chǎn)業(yè)鏈甚至跨產(chǎn)業(yè)鏈間，創(chuàng)造出高于現(xiàn)在數(shù)倍的產(chǎn)值。McKinsey曾對(duì)交通業(yè)、金融業(yè)等七大領(lǐng)域進(jìn)行預(yù)測(cè)，數(shù)據(jù)每年創(chuàng)造的經(jīng)濟(jì)價(jià)值將高達(dá)四萬億美元，甚至有專家預(yù)測(cè)，當(dāng)數(shù)據(jù)

2、實(shí)現(xiàn)開放流通并逐漸成為生產(chǎn)要素后，人類社會(huì)將真正迎來工業(yè)互聯(lián)網(wǎng)時(shí)代。
　　通常情況下，工業(yè)企業(yè)的信息數(shù)據(jù)系統(tǒng)會(huì)包含多個(gè)不同的業(yè)務(wù)系統(tǒng)，并且每個(gè)業(yè)務(wù)系統(tǒng)也都包含有各自的在線系統(tǒng)、歸檔系統(tǒng)和備份系統(tǒng)。企業(yè)出于對(duì)成本的考慮，存儲(chǔ)系統(tǒng)會(huì)把在線業(yè)務(wù)平臺(tái)的數(shù)據(jù)遷移到后端的大數(shù)據(jù)平臺(tái)，但是數(shù)據(jù)遷移的過程極為復(fù)雜，需要解決的問題也較多。在上述諸多問題中，本文主要研究其中的兩個(gè)問題，首先將在線數(shù)據(jù)遷移至大數(shù)據(jù)平臺(tái)的過程中，數(shù)據(jù)的遷移效率有待提高；其

3、次，數(shù)據(jù)遷移至大數(shù)據(jù)平臺(tái)后，平臺(tái)的各個(gè)節(jié)點(diǎn)之間數(shù)據(jù)的動(dòng)態(tài)遷移的系統(tǒng)開銷有待降低。根據(jù)上述兩個(gè)問題，我們分別提出基于任務(wù)調(diào)度機(jī)制的數(shù)據(jù)遷移方法和基于遷移開銷敏感的遷移方法對(duì)問題展開研究：
　　具體內(nèi)容如下：
　?、疟疚氖紫葘?duì)MapReduce分布式架構(gòu)、HBase數(shù)據(jù)庫、HDFS分布式文件系統(tǒng)、Key/Value存儲(chǔ)系統(tǒng)等關(guān)鍵技術(shù)進(jìn)行詳細(xì)介紹，并對(duì)PSO算法和ABC算法的基本原理進(jìn)行了深入研究。
　　⑵針對(duì)將在線數(shù)據(jù)數(shù)據(jù)

4、遷移到大數(shù)據(jù)平臺(tái)的需求，本文提出一種基于任務(wù)調(diào)度機(jī)制的數(shù)據(jù)遷移方法。為了對(duì)上述方法進(jìn)行實(shí)驗(yàn)分析，我們使用了Hadoop架構(gòu)進(jìn)行實(shí)現(xiàn)，并通過與Hadoop默認(rèn)的FIFO任務(wù)調(diào)度機(jī)制進(jìn)行比較，驗(yàn)證方法的有效性。
　?、菍?duì)于分布式存儲(chǔ)系統(tǒng)而言，數(shù)據(jù)遷移是實(shí)現(xiàn)不同節(jié)點(diǎn)之間動(dòng)態(tài)擴(kuò)展與彈性負(fù)載均衡的關(guān)鍵技術(shù)。如何降低遷移開銷是提供商需著力解決的問題。現(xiàn)有方法大多是針對(duì)非虛擬化環(huán)境下的數(shù)據(jù)遷移問題，對(duì)于大數(shù)據(jù)環(huán)境下的分布式存儲(chǔ)系統(tǒng)而言，這些方法