面向海量數(shù)據(jù)的實時計算一致性研究.pdf

1、大數(shù)據(jù)和云計算等概念和相關(guān)技術(shù)隨社會需求和行業(yè)需求的提高得到了飛速發(fā)展。在傳感網(wǎng)絡(luò)、氣象分析、衛(wèi)星監(jiān)控、核模擬和電磁計算等關(guān)鍵領(lǐng)域，數(shù)據(jù)的產(chǎn)生和處理需求已經(jīng)到了海量級別，充分利用這些數(shù)據(jù)，就可以極大的提高企業(yè)、機構(gòu)和國家的生產(chǎn)率與競爭力。
　　目前對海量數(shù)據(jù)的研究從根本上來說仍然屬于大數(shù)據(jù)處理技術(shù)研究的范疇。雖然國內(nèi)外企業(yè)及研究機構(gòu)對分布式存儲和計算都有一定的研究，但是具體到海量數(shù)據(jù)的分布式存儲和計算問題，特別是對多數(shù)據(jù)中心協(xié)同計

2、算環(huán)境下的數(shù)據(jù)一致性這一細分領(lǐng)域的研究相對較少，還不能適應(yīng)多數(shù)據(jù)中心協(xié)同實時計算所具有的異構(gòu)性較強、計算任務(wù)較重、流程間交互關(guān)系復(fù)雜的特點。本文對支持海量數(shù)據(jù)實時計算需求的一致性進行了研究，主要工作如下:
　　通過研究支持海量數(shù)據(jù)的分布式存儲架構(gòu)、海量數(shù)據(jù)的副本備份管理策略和多數(shù)據(jù)中心協(xié)同計算的數(shù)據(jù)一致性機制，分析海量數(shù)據(jù)實時計算環(huán)境的特點和數(shù)據(jù)一致性需求;
　　針對海量數(shù)據(jù)實時計算中數(shù)據(jù)一致性問題需求，基于對數(shù)據(jù)中心網(wǎng)絡(luò)技

3、術(shù)的研究，提出了能夠支持海量數(shù)據(jù)實時計算的多數(shù)據(jù)中心協(xié)同計算平臺架構(gòu)，并對協(xié)同計算平臺的數(shù)據(jù)流程進行了規(guī)劃;
　　通過對主流計算模型的一致性策略進行分析和對比，結(jié)合多數(shù)據(jù)中心協(xié)同計算平臺實際，基于paxos算法，分別針對輸入數(shù)據(jù)、中間數(shù)據(jù)和輸出數(shù)據(jù)構(gòu)建了數(shù)據(jù)一致性架構(gòu)方案，初步解決了海量數(shù)據(jù)實時計算環(huán)境下數(shù)據(jù)存儲、備份和使用中面臨的一致性問題。
　　在以上研究和工作的基礎(chǔ)上，使用OpenStack建立了多數(shù)據(jù)中心協(xié)同計算平臺