面向工業(yè)大數(shù)據(jù)存儲虛擬化遷移方法研究.pdf

1、近半個世紀以來，在摩爾定律的支配下，信息技術(shù)呈現(xiàn)出了前所未有的繁榮景象，互聯(lián)網(wǎng)技術(shù)也不斷改革創(chuàng)新。根據(jù)IDC預(yù)測，當前形勢下每年產(chǎn)生的數(shù)據(jù)量高達8ZB，到2020年這個數(shù)字將逐漸增加至40ZB，這預(yù)示著大數(shù)據(jù)時代已經(jīng)到來。隨著大數(shù)據(jù)對工業(yè)企業(yè)各種限制的不斷突破，數(shù)據(jù)將會在工業(yè)產(chǎn)業(yè)鏈甚至跨產(chǎn)業(yè)鏈間，創(chuàng)造出高于現(xiàn)在數(shù)倍的產(chǎn)值。McKinsey曾對交通業(yè)、金融業(yè)等七大領(lǐng)域進行預(yù)測，數(shù)據(jù)每年創(chuàng)造的經(jīng)濟價值將高達四萬億美元，甚至有專家預(yù)測，當數(shù)據(jù)

2、實現(xiàn)開放流通并逐漸成為生產(chǎn)要素后，人類社會將真正迎來工業(yè)互聯(lián)網(wǎng)時代。
　　通常情況下，工業(yè)企業(yè)的信息數(shù)據(jù)系統(tǒng)會包含多個不同的業(yè)務(wù)系統(tǒng)，并且每個業(yè)務(wù)系統(tǒng)也都包含有各自的在線系統(tǒng)、歸檔系統(tǒng)和備份系統(tǒng)。企業(yè)出于對成本的考慮，存儲系統(tǒng)會把在線業(yè)務(wù)平臺的數(shù)據(jù)遷移到后端的大數(shù)據(jù)平臺，但是數(shù)據(jù)遷移的過程極為復(fù)雜，需要解決的問題也較多。在上述諸多問題中，本文主要研究其中的兩個問題，首先將在線數(shù)據(jù)遷移至大數(shù)據(jù)平臺的過程中，數(shù)據(jù)的遷移效率有待提高；其

3、次，數(shù)據(jù)遷移至大數(shù)據(jù)平臺后，平臺的各個節(jié)點之間數(shù)據(jù)的動態(tài)遷移的系統(tǒng)開銷有待降低。根據(jù)上述兩個問題，我們分別提出基于任務(wù)調(diào)度機制的數(shù)據(jù)遷移方法和基于遷移開銷敏感的遷移方法對問題展開研究：
　　具體內(nèi)容如下：
　?、疟疚氖紫葘apReduce分布式架構(gòu)、HBase數(shù)據(jù)庫、HDFS分布式文件系統(tǒng)、Key/Value存儲系統(tǒng)等關(guān)鍵技術(shù)進行詳細介紹，并對PSO算法和ABC算法的基本原理進行了深入研究。
　?、漆槍⒃诰€數(shù)據(jù)數(shù)據(jù)

4、遷移到大數(shù)據(jù)平臺的需求，本文提出一種基于任務(wù)調(diào)度機制的數(shù)據(jù)遷移方法。為了對上述方法進行實驗分析，我們使用了Hadoop架構(gòu)進行實現(xiàn)，并通過與Hadoop默認的FIFO任務(wù)調(diào)度機制進行比較，驗證方法的有效性。
　?、菍τ诜植际酱鎯ο到y(tǒng)而言，數(shù)據(jù)遷移是實現(xiàn)不同節(jié)點之間動態(tài)擴展與彈性負載均衡的關(guān)鍵技術(shù)。如何降低遷移開銷是提供商需著力解決的問題。現(xiàn)有方法大多是針對非虛擬化環(huán)境下的數(shù)據(jù)遷移問題，對于大數(shù)據(jù)環(huán)境下的分布式存儲系統(tǒng)而言，這些方法