基于云計(jì)算的山東黃河水情預(yù)測(cè)探索研究

1、基于云計(jì)算的山東黃河水情預(yù)測(cè)探索研究李凱王前馬德輝(山東黃河信息中心山東濟(jì)南250013)摘要：摘要：云計(jì)算（Cloudcomputing），云計(jì)算是分布式處理（DistributedComputing）、并行處理（ParallelComputing）和網(wǎng)格計(jì)算（GridComputing）的發(fā)展，透過網(wǎng)絡(luò)將龐大的計(jì)算處理程序，自動(dòng)拆分成無數(shù)個(gè)較小的程序，再交給由多臺(tái)服務(wù)器所組成的龐大系統(tǒng)，經(jīng)搜尋，計(jì)算分析之后，將處理結(jié)果回傳給用戶。本

2、文依托云計(jì)算，采用馬斯京根(Muskingum)法分河段連續(xù)演算來預(yù)測(cè)山東黃河水情，為山東黃河地區(qū)防汛抗旱、水量調(diào)度的科學(xué)決策提供技術(shù)支撐。關(guān)鍵詞：關(guān)鍵詞：云計(jì)算；分布式處理；并行處理；網(wǎng)格計(jì)算；馬斯京根法；1引言引言山東黃河地處黃河下游，歷來是黃河防汛的重點(diǎn)。如何充分的利用先進(jìn)的科學(xué)技術(shù)，整合現(xiàn)有的資源來預(yù)測(cè)黃河下游水情，為黃河防汛抗旱決策提供技術(shù)支撐，保證黃河安瀾是重中之重的問題。隨著技術(shù)的不斷發(fā)展，信息采集設(shè)備的不斷完善，導(dǎo)致數(shù)據(jù)

3、激增，IT系統(tǒng)負(fù)擔(dān)加重；地域分隔，信息孤島拉低效能；實(shí)時(shí)分析能力差，海量數(shù)據(jù)處理效率低；標(biāo)準(zhǔn)各異，數(shù)據(jù)規(guī)范有待統(tǒng)一。這些問題都嚴(yán)重制約了山東黃河水情預(yù)測(cè)技術(shù)的發(fā)展。因此需制定短期和長(zhǎng)期技術(shù)規(guī)劃，以適應(yīng)未來信息系統(tǒng)的發(fā)展，解決跨平臺(tái)異構(gòu)應(yīng)用系統(tǒng)的數(shù)據(jù)共享與集成問題。因此本文引入云計(jì)算技術(shù)，消除各業(yè)務(wù)系統(tǒng)和各組織結(jié)構(gòu)之間的信息孤島，獲取黃河數(shù)據(jù)資源的單一視圖，確保數(shù)據(jù)的完整性、及時(shí)性、準(zhǔn)確性和一致性，同時(shí)實(shí)現(xiàn)元數(shù)據(jù)的可視化統(tǒng)一管理，滿足高并

4、發(fā)、實(shí)時(shí)動(dòng)態(tài)獲取和更新數(shù)據(jù)、海量數(shù)據(jù)的高效率存儲(chǔ)和訪問、高可擴(kuò)展性和高可用性等需求，有效的提高山東黃河水情預(yù)測(cè)的準(zhǔn)確性和時(shí)效性。目前，山東黃河廣域網(wǎng)已經(jīng)形成省、市、縣三級(jí)體系結(jié)構(gòu)，已經(jīng)具備部署以分布式并操作，將合并計(jì)算的預(yù)測(cè)數(shù)據(jù)存儲(chǔ)回HDFS從而完成一次黃河下游洪水預(yù)測(cè)任務(wù)。3.13.1分布式存儲(chǔ)（分布式存儲(chǔ)（HDFSHDFS）Hdfs采用的是masterslave模型，一個(gè)Hdfscluster包含一個(gè)NameNode和一些列的Dat

5、aNode，其中NameNode充當(dāng)?shù)氖莔aster的角色，主要負(fù)責(zé)管理Hdfs文件系統(tǒng)，接受來自客戶端的請(qǐng)求；DataNode主要是用來存儲(chǔ)數(shù)據(jù)文件，Hdfs將一個(gè)文件分割成一個(gè)多這是多個(gè)的block，這些block可能存儲(chǔ)在一個(gè)DataNode上或者是多個(gè)DataNode上。3.23.2分布式計(jì)算（分布式計(jì)算（MAPREDUCEMAPREDUCE）MapReduce采用“分而治之“的思想，把對(duì)大規(guī)模數(shù)據(jù)集的操作，分發(fā)給一個(gè)主節(jié)點(diǎn)管理

6、下的各個(gè)分節(jié)點(diǎn)共同完成，然后通過整合各個(gè)節(jié)點(diǎn)的中間結(jié)果，得到最終結(jié)果。在Hadoop中，用于執(zhí)行MapReduce任務(wù)的機(jī)器角色有兩個(gè)：一個(gè)是JobTracker；另一個(gè)是TaskTracker，JobTracker是用于調(diào)度工作的，TaskTracker是用于執(zhí)行工作的。一個(gè)Hadoop集群中只有一臺(tái)JobTracker。在分布式計(jì)算中，MapReduce框架負(fù)責(zé)處理了并行編程中分布式存儲(chǔ)、工作調(diào)度、負(fù)載均衡、容錯(cuò)均衡、容錯(cuò)處理以及網(wǎng)