基于Spark的粒子群算法并行編程及其在水庫調(diào)度中的應(yīng)用.pdf

1、黑河流域水資源數(shù)據(jù)量龐大，數(shù)據(jù)關(guān)系復(fù)雜，應(yīng)用常規(guī)技術(shù)進(jìn)行優(yōu)化調(diào)度難度較大。本文針對黑河流域當(dāng)前存在的水資源調(diào)度問題，應(yīng)用大數(shù)據(jù)處理與進(jìn)化計算技術(shù)，基于大數(shù)據(jù)計算框架Spark與并行化的粒子群算法，研究開發(fā)了黑河流域水庫群多目標(biāo)優(yōu)化調(diào)度系統(tǒng)。
　　在研究開發(fā)過程中，作者分析了黑河流域水資源優(yōu)化調(diào)度系統(tǒng)多個目標(biāo)的特點，將多個目標(biāo)轉(zhuǎn)化成單個目標(biāo)，得到該問題的求解模型。接著研究了并行算法編程模型、用于優(yōu)化問題求解的粒子群算法及其并行化策略

2、，以及基于Spark大數(shù)據(jù)計算框架的粒子群算法并行化方法。
　　在理論與技術(shù)研究的基礎(chǔ)上，以Hadoop2.7.1、Sparkl.5.2、Spark on Yarn軟件為基礎(chǔ)，搭建了大數(shù)據(jù)支持平臺；在該平臺的分布式文件系統(tǒng)HDFS中存儲了獲取的黑河流域水資源數(shù)據(jù)。接著在Ubuntu Linux操作系統(tǒng)環(huán)境、 Spark平臺下，應(yīng)用Scala語言開發(fā)了基于粒子群算法的水庫群多目標(biāo)優(yōu)化調(diào)度并行程序，實現(xiàn)了可處理水庫調(diào)度大數(shù)據(jù)、可高速運(yùn)

3、行調(diào)度優(yōu)化程序的水庫群多目標(biāo)優(yōu)化調(diào)度系統(tǒng)。
　　本調(diào)度系統(tǒng)的數(shù)據(jù)載入、程序運(yùn)行、結(jié)果查詢等操作都是在Ubimtu Linux操作系統(tǒng)與 Spark平臺、界面下進(jìn)行，對于不熟悉Spark運(yùn)行機(jī)制的普通使用者來說，使用困難極大。為了解決此問題，還開發(fā)了一個水庫群多目標(biāo)優(yōu)化調(diào)度系統(tǒng)應(yīng)用平臺，實現(xiàn)了大數(shù)據(jù)的上傳、下載、刪除、查詢，以及需要Spark大數(shù)據(jù)平臺處理的應(yīng)用程序任務(wù)的提交運(yùn)行和SQL查詢等功能。
　　本課題的研究開發(fā)工作，