智能電網(wǎng)云平臺(tái)調(diào)度策略的研究.pdf

1、隨著我國智能電網(wǎng)事業(yè)的發(fā)展,全國電力系統(tǒng)互聯(lián)已成為一個(gè)趨勢,大量的先進(jìn)的數(shù)據(jù)采集與監(jiān)控設(shè)備、相量測量單元(PMU)、智能電表等被應(yīng)用,現(xiàn)代電力系統(tǒng)正在演變成一個(gè)集聚大數(shù)據(jù)和信息的計(jì)算系統(tǒng)。針對(duì)智能電網(wǎng)對(duì)海量的數(shù)據(jù)存儲(chǔ)和大規(guī)模并行計(jì)算的迫切需求,鑒于電力系統(tǒng)廣域網(wǎng)的完整性,學(xué)者提出了整合網(wǎng)內(nèi)現(xiàn)有計(jì)算和存儲(chǔ)資源,建立電力私有云的概念。Hadoop是主要由 HDFS和MapReduce組成的開源云計(jì)算項(xiàng)目,可以部署在普通個(gè)人計(jì)算機(jī)上,從而組成

2、廉價(jià)的云平臺(tái)。作業(yè)的調(diào)度算法對(duì)云計(jì)算有著至關(guān)重要的作用,它是解決作業(yè)在什么地點(diǎn)、什么時(shí)間執(zhí)行的問題。智能電網(wǎng)云平臺(tái)依托于各級(jí)電網(wǎng)的計(jì)算資源,集群中普遍資源存在著節(jié)點(diǎn)異構(gòu)問題,異構(gòu)節(jié)點(diǎn)的執(zhí)行能力的不同和用戶提交作業(yè)任務(wù)量不同,會(huì)導(dǎo)致比較突出的任務(wù)同步問題。
　　根據(jù)該情況,本文在 hadoop平臺(tái)下,給出了一種基于作業(yè)執(zhí)行時(shí)間預(yù)測的資源優(yōu)化推測執(zhí)行算法,該算法通過預(yù)先執(zhí)行作業(yè)一部分任務(wù),通過這些先行任務(wù)預(yù)測作業(yè)平均和整體的運(yùn)行時(shí)間,

3、同時(shí)將群集中的節(jié)點(diǎn)以執(zhí)行相同作業(yè)所屬任務(wù)的執(zhí)行時(shí)間為參數(shù),將節(jié)點(diǎn)分為快節(jié)點(diǎn)和慢節(jié)點(diǎn),而推測執(zhí)行的任務(wù)只能發(fā)生在快節(jié)點(diǎn)上,該算法結(jié)合任務(wù)執(zhí)行節(jié)點(diǎn)的性能參數(shù),判斷該任務(wù)是否進(jìn)行推測執(zhí)行,當(dāng)推測執(zhí)行發(fā)生時(shí)會(huì)盡可能以局部執(zhí)行的方式執(zhí)行其后備任務(wù),推測任務(wù)發(fā)生之前,該算法會(huì)檢查群集中其它節(jié)點(diǎn)執(zhí)行該任務(wù)的成本是否低于該節(jié)點(diǎn)(主要以inputsplit的所在節(jié)點(diǎn)與執(zhí)行節(jié)點(diǎn)的距離做參考),如果任務(wù)在其它節(jié)點(diǎn)執(zhí)行成本更低,則算法會(huì)放棄本次推測執(zhí)行。本文通

4、過實(shí)驗(yàn)比較了該算法和、計(jì)算能力調(diào)度算法、公平調(diào)度算法、基于高優(yōu)先級(jí)滑動(dòng)窗口調(diào)度算法的優(yōu)缺點(diǎn),通過分別代表內(nèi)存、CPU、網(wǎng)絡(luò)等不同類型資源的云計(jì)算應(yīng)用例程WordCount、CPUActivity、URLGet,進(jìn)行三組,每組六次實(shí)驗(yàn)的測試,結(jié)果表明該算法在任務(wù)的時(shí)間消耗上,推測執(zhí)行的發(fā)生率,網(wǎng)絡(luò)資源的占用率上均有明顯的減小,整體上縮短了資源的消耗,并提高了任務(wù)的完成速度。因此在一定程度上適合節(jié)點(diǎn)眾多,拓?fù)浣Y(jié)構(gòu)復(fù)雜,節(jié)點(diǎn)差異大的電力系統(tǒng)私