智能電網(wǎng)云平臺調(diào)度策略的研究.pdf

1、隨著我國智能電網(wǎng)事業(yè)的發(fā)展,全國電力系統(tǒng)互聯(lián)已成為一個趨勢,大量的先進的數(shù)據(jù)采集與監(jiān)控設(shè)備、相量測量單元(PMU)、智能電表等被應(yīng)用,現(xiàn)代電力系統(tǒng)正在演變成一個集聚大數(shù)據(jù)和信息的計算系統(tǒng)。針對智能電網(wǎng)對海量的數(shù)據(jù)存儲和大規(guī)模并行計算的迫切需求,鑒于電力系統(tǒng)廣域網(wǎng)的完整性,學(xué)者提出了整合網(wǎng)內(nèi)現(xiàn)有計算和存儲資源,建立電力私有云的概念。Hadoop是主要由 HDFS和MapReduce組成的開源云計算項目,可以部署在普通個人計算機上,從而組成

2、廉價的云平臺。作業(yè)的調(diào)度算法對云計算有著至關(guān)重要的作用,它是解決作業(yè)在什么地點、什么時間執(zhí)行的問題。智能電網(wǎng)云平臺依托于各級電網(wǎng)的計算資源,集群中普遍資源存在著節(jié)點異構(gòu)問題,異構(gòu)節(jié)點的執(zhí)行能力的不同和用戶提交作業(yè)任務(wù)量不同,會導(dǎo)致比較突出的任務(wù)同步問題。
　　根據(jù)該情況,本文在 hadoop平臺下,給出了一種基于作業(yè)執(zhí)行時間預(yù)測的資源優(yōu)化推測執(zhí)行算法,該算法通過預(yù)先執(zhí)行作業(yè)一部分任務(wù),通過這些先行任務(wù)預(yù)測作業(yè)平均和整體的運行時間,

3、同時將群集中的節(jié)點以執(zhí)行相同作業(yè)所屬任務(wù)的執(zhí)行時間為參數(shù),將節(jié)點分為快節(jié)點和慢節(jié)點,而推測執(zhí)行的任務(wù)只能發(fā)生在快節(jié)點上,該算法結(jié)合任務(wù)執(zhí)行節(jié)點的性能參數(shù),判斷該任務(wù)是否進行推測執(zhí)行,當(dāng)推測執(zhí)行發(fā)生時會盡可能以局部執(zhí)行的方式執(zhí)行其后備任務(wù),推測任務(wù)發(fā)生之前,該算法會檢查群集中其它節(jié)點執(zhí)行該任務(wù)的成本是否低于該節(jié)點(主要以inputsplit的所在節(jié)點與執(zhí)行節(jié)點的距離做參考),如果任務(wù)在其它節(jié)點執(zhí)行成本更低,則算法會放棄本次推測執(zhí)行。本文通

4、過實驗比較了該算法和、計算能力調(diào)度算法、公平調(diào)度算法、基于高優(yōu)先級滑動窗口調(diào)度算法的優(yōu)缺點,通過分別代表內(nèi)存、CPU、網(wǎng)絡(luò)等不同類型資源的云計算應(yīng)用例程WordCount、CPUActivity、URLGet,進行三組,每組六次實驗的測試,結(jié)果表明該算法在任務(wù)的時間消耗上,推測執(zhí)行的發(fā)生率,網(wǎng)絡(luò)資源的占用率上均有明顯的減小,整體上縮短了資源的消耗,并提高了任務(wù)的完成速度。因此在一定程度上適合節(jié)點眾多,拓?fù)浣Y(jié)構(gòu)復(fù)雜,節(jié)點差異大的電力系統(tǒng)私