基于Spark的電力系統(tǒng)日志數(shù)據(jù)的分析處理.pdf

1、隨著電力調(diào)度自動(dòng)化系統(tǒng)規(guī)模的不斷擴(kuò)大，電力系統(tǒng)需要實(shí)時(shí)處理的日志數(shù)據(jù)急劇增加。受到磁盤性能的影響，數(shù)據(jù)未能及時(shí)處理，產(chǎn)生延遲而無(wú)法滿足實(shí)時(shí)性的需求，必須借助內(nèi)存的處理能力。近年來(lái)，隨著云計(jì)算、大數(shù)據(jù)技術(shù)的迅猛發(fā)展，運(yùn)用大數(shù)據(jù)技術(shù)從海量的實(shí)時(shí)日志數(shù)據(jù)中獲取潛在有用的信息已經(jīng)得到了各方面廣泛的關(guān)注。Spark就是其中脫穎而出的開(kāi)源計(jì)算框架，Spark Streaming作為其上層工具，提供基于間隔的實(shí)時(shí)處理功能，能夠滿足調(diào)度自動(dòng)化系統(tǒng)對(duì)某個(gè)

2、時(shí)間段內(nèi)實(shí)時(shí)數(shù)據(jù)的處理需求。然而受到數(shù)據(jù)流接收速率以及其他操作環(huán)境變化的影響，靜態(tài)的批間隔以及塊間隔將會(huì)導(dǎo)致較高的端到端延遲和處理時(shí)間，甚至引起系統(tǒng)的不穩(wěn)定。本文針對(duì)Spark Streaming存在的問(wèn)題，對(duì)其間隔的影響進(jìn)行了深入的研究。
　　本文深入分析了Spark Streaming的處理流程，結(jié)合當(dāng)前電力調(diào)度自動(dòng)化系統(tǒng)日志數(shù)據(jù)流的特點(diǎn)，通過(guò)日志數(shù)據(jù)記錄和字段的過(guò)濾，減少系統(tǒng)預(yù)處理的時(shí)間。針對(duì)批間隔對(duì)單查詢?nèi)蝿?wù)端到端延遲的影

3、響，提出了基于定點(diǎn)迭代的動(dòng)態(tài)調(diào)整算法，快速收斂到最優(yōu)的批間隔，減小單查詢?nèi)蝿?wù)端到端的延遲?？紤]到塊間隔和運(yùn)算相關(guān)性對(duì)多查詢?nèi)蝿?wù)處理時(shí)間的影響，提出基于貪心算法的塊間隔動(dòng)態(tài)調(diào)整策略和基于相關(guān)性的合并算法，減少多查詢?nèi)蝿?wù)的處理時(shí)間。對(duì)于實(shí)時(shí)計(jì)算所得的日志數(shù)據(jù)，給出了基于分布式數(shù)據(jù)庫(kù)HBase日志數(shù)據(jù)存儲(chǔ)的RowKey格式和表結(jié)構(gòu)設(shè)計(jì)，并優(yōu)化HBase的讀寫性能，為后續(xù)的查詢分析提供支持。
　　本文在現(xiàn)有Spark Streaming基