電力用電信息采集系統(tǒng)中的MapReduce作業(yè)性能優(yōu)化研究.pdf

1、電力用電信息采集系統(tǒng)每天執(zhí)行大量的計(jì)算服務(wù)，比如采集成功率、終端在線率、負(fù)控終端可用率、表碼上傳成功率、采集調(diào)試占比、線損合格率、采集數(shù)據(jù)完整度等服務(wù)，這些計(jì)算服務(wù)涉及的數(shù)量較大、有較高的實(shí)效要求，而且部分計(jì)算服務(wù)存在先后的依賴關(guān)系。Hadoop是主流的分析大規(guī)模數(shù)據(jù)的并行計(jì)算框架，因此Hadoop是用電信息采集系統(tǒng)的有效的解決方案。
　　然而，Hadoop在電力用電信息采集系統(tǒng)應(yīng)用的過(guò)程中存在一些問(wèn)題。Hadoop是為了處理海量

2、規(guī)模的數(shù)據(jù)和運(yùn)行批處理作業(yè)而設(shè)計(jì)的，但在電力用電信息采集系統(tǒng)中，Hadoop頻繁的運(yùn)行大量的短作業(yè)，導(dǎo)致集群頻繁的申請(qǐng)、釋放資源，從而造成了集群資源的浪費(fèi)。用電信息采集系統(tǒng)是部署在異構(gòu)環(huán)境中，由于計(jì)算節(jié)點(diǎn)異常、負(fù)載過(guò)高或者數(shù)據(jù)傾斜等原因?qū)е虏糠秩蝿?wù)的運(yùn)行時(shí)間是同類型任務(wù)運(yùn)行時(shí)間的數(shù)倍（即出現(xiàn)落后任務(wù)），造成作業(yè)運(yùn)行時(shí)間延長(zhǎng)。電力用電信息采集系統(tǒng)中的線損合格率、表碼上傳成功率等作業(yè)的計(jì)算依賴基礎(chǔ)檔案等計(jì)算作業(yè)，基礎(chǔ)檔案數(shù)據(jù)的計(jì)算必須在指定

3、的截止時(shí)間內(nèi)計(jì)算完成，而Hadoop不支持具有時(shí)間約束的作業(yè)調(diào)度。
　　上述的這些問(wèn)題和不足造成了部分作業(yè)運(yùn)行比較低效。本文從Hadoop的計(jì)算框架、作業(yè)的執(zhí)行流程以及任務(wù)的調(diào)度機(jī)制方面解決集群存在的短作業(yè)問(wèn)題、落后任務(wù)問(wèn)題以及具有時(shí)間約束的作業(yè)調(diào)度問(wèn)題，本文的主要工作如下。
　　(1)本文從計(jì)算框架、資源申請(qǐng)釋放過(guò)程、任務(wù)執(zhí)行過(guò)程以及任務(wù)調(diào)度方面分析了Hadoop運(yùn)行短作業(yè)的問(wèn)題和產(chǎn)生原因。為了預(yù)估任務(wù)的運(yùn)行時(shí)間，本文基于

4、任務(wù)子階段的耗時(shí)建立了任務(wù)性能模型。對(duì)于短作業(yè)問(wèn)題，本文提出了基于資源重用的機(jī)制優(yōu)化短作業(yè)的執(zhí)行過(guò)程，提高短作業(yè)的執(zhí)行效率。
　　(2)本文基于任務(wù)的進(jìn)度率建立了落后任務(wù)識(shí)別模型，結(jié)合任務(wù)的進(jìn)度、任務(wù)使用的資源數(shù)量等因素對(duì)不同的任務(wù)使用差異化的落后任務(wù)解決策略。同時(shí)，本文給出了基于節(jié)點(diǎn)性能的任務(wù)調(diào)度算法，實(shí)現(xiàn)了作業(yè)之間公平共享集群資源。
　　(3)對(duì)于具有時(shí)間約束的作業(yè)，本文使用分治策略將作業(yè)分解的任務(wù)劃分到具體的時(shí)間段內(nèi)完