電力用電信息采集系統(tǒng)中的MapReduce作業(yè)性能優(yōu)化研究.pdf

1、電力用電信息采集系統(tǒng)每天執(zhí)行大量的計算服務(wù)，比如采集成功率、終端在線率、負(fù)控終端可用率、表碼上傳成功率、采集調(diào)試占比、線損合格率、采集數(shù)據(jù)完整度等服務(wù)，這些計算服務(wù)涉及的數(shù)量較大、有較高的實效要求，而且部分計算服務(wù)存在先后的依賴關(guān)系。Hadoop是主流的分析大規(guī)模數(shù)據(jù)的并行計算框架，因此Hadoop是用電信息采集系統(tǒng)的有效的解決方案。
　　然而，Hadoop在電力用電信息采集系統(tǒng)應(yīng)用的過程中存在一些問題。Hadoop是為了處理海量

2、規(guī)模的數(shù)據(jù)和運行批處理作業(yè)而設(shè)計的，但在電力用電信息采集系統(tǒng)中，Hadoop頻繁的運行大量的短作業(yè)，導(dǎo)致集群頻繁的申請、釋放資源，從而造成了集群資源的浪費。用電信息采集系統(tǒng)是部署在異構(gòu)環(huán)境中，由于計算節(jié)點異常、負(fù)載過高或者數(shù)據(jù)傾斜等原因?qū)е虏糠秩蝿?wù)的運行時間是同類型任務(wù)運行時間的數(shù)倍（即出現(xiàn)落后任務(wù)），造成作業(yè)運行時間延長。電力用電信息采集系統(tǒng)中的線損合格率、表碼上傳成功率等作業(yè)的計算依賴基礎(chǔ)檔案等計算作業(yè)，基礎(chǔ)檔案數(shù)據(jù)的計算必須在指定

3、的截止時間內(nèi)計算完成，而Hadoop不支持具有時間約束的作業(yè)調(diào)度。
　　上述的這些問題和不足造成了部分作業(yè)運行比較低效。本文從Hadoop的計算框架、作業(yè)的執(zhí)行流程以及任務(wù)的調(diào)度機制方面解決集群存在的短作業(yè)問題、落后任務(wù)問題以及具有時間約束的作業(yè)調(diào)度問題，本文的主要工作如下。
　　(1)本文從計算框架、資源申請釋放過程、任務(wù)執(zhí)行過程以及任務(wù)調(diào)度方面分析了Hadoop運行短作業(yè)的問題和產(chǎn)生原因。為了預(yù)估任務(wù)的運行時間，本文基于

4、任務(wù)子階段的耗時建立了任務(wù)性能模型。對于短作業(yè)問題，本文提出了基于資源重用的機制優(yōu)化短作業(yè)的執(zhí)行過程，提高短作業(yè)的執(zhí)行效率。
　　(2)本文基于任務(wù)的進(jìn)度率建立了落后任務(wù)識別模型，結(jié)合任務(wù)的進(jìn)度、任務(wù)使用的資源數(shù)量等因素對不同的任務(wù)使用差異化的落后任務(wù)解決策略。同時，本文給出了基于節(jié)點性能的任務(wù)調(diào)度算法，實現(xiàn)了作業(yè)之間公平共享集群資源。
　　(3)對于具有時間約束的作業(yè)，本文使用分治策略將作業(yè)分解的任務(wù)劃分到具體的時間段內(nèi)完