基于Spark的粒子群算法并行編程及其在水庫調度中的應用.pdf_第1頁
已閱讀1頁,還剩64頁未讀 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、黑河流域水資源數據量龐大,數據關系復雜,應用常規(guī)技術進行優(yōu)化調度難度較大。本文針對黑河流域當前存在的水資源調度問題,應用大數據處理與進化計算技術,基于大數據計算框架Spark與并行化的粒子群算法,研究開發(fā)了黑河流域水庫群多目標優(yōu)化調度系統(tǒng)。
  在研究開發(fā)過程中,作者分析了黑河流域水資源優(yōu)化調度系統(tǒng)多個目標的特點,將多個目標轉化成單個目標,得到該問題的求解模型。接著研究了并行算法編程模型、用于優(yōu)化問題求解的粒子群算法及其并行化策略

2、,以及基于Spark大數據計算框架的粒子群算法并行化方法。
  在理論與技術研究的基礎上,以Hadoop2.7.1、Sparkl.5.2、Spark on Yarn軟件為基礎,搭建了大數據支持平臺;在該平臺的分布式文件系統(tǒng)HDFS中存儲了獲取的黑河流域水資源數據。接著在Ubuntu Linux操作系統(tǒng)環(huán)境、 Spark平臺下,應用Scala語言開發(fā)了基于粒子群算法的水庫群多目標優(yōu)化調度并行程序,實現(xiàn)了可處理水庫調度大數據、可高速運

3、行調度優(yōu)化程序的水庫群多目標優(yōu)化調度系統(tǒng)。
  本調度系統(tǒng)的數據載入、程序運行、結果查詢等操作都是在Ubimtu Linux操作系統(tǒng)與 Spark平臺、界面下進行,對于不熟悉Spark運行機制的普通使用者來說,使用困難極大。為了解決此問題,還開發(fā)了一個水庫群多目標優(yōu)化調度系統(tǒng)應用平臺,實現(xiàn)了大數據的上傳、下載、刪除、查詢,以及需要Spark大數據平臺處理的應用程序任務的提交運行和SQL查詢等功能。
  本課題的研究開發(fā)工作,

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論