基于DStream模型的流處理系統(tǒng)動態(tài)配置研究.pdf

1、隨著大數(shù)據(jù)時代的來臨，各領域產(chǎn)生的信息呈現(xiàn)出幾何式爆炸增長的趨勢，其中有些高速的海量數(shù)據(jù)需要被實時處理。在這種背景下，流處理系統(tǒng)應運而生。大部分流處理系統(tǒng)采用的是連續(xù)處理模型，盡管連續(xù)處理模型可以取得較好的計算時延，但在復雜的網(wǎng)絡和集群環(huán)境中，這種較小粒度的處理模型往往缺少比較有效的容錯機制。DStream不同于連續(xù)處理模型，它通過將流數(shù)據(jù)轉(zhuǎn)化成一個個微批次數(shù)據(jù)，使得該模型可以以較大粒度對數(shù)據(jù)進行處理，此外將其與批處理、機器學習和圖處理

2、等技術結(jié)合后則可以應對更為豐富的業(yè)務需求，因此相比較傳統(tǒng)流數(shù)據(jù)處理模型而言，DStream模型具有更強的容錯性和擴展性。
　　Spark Streaming系統(tǒng)是基于Dstream模型實現(xiàn)的一個通用流計算框架，它給予了用戶很大的個性化自定義的空間。目前，越來越多的用戶開始選擇使用SparkStreaming系統(tǒng)作為流數(shù)據(jù)處理工具。對系統(tǒng)進行合理配置可以使得系統(tǒng)獲取較為良好的運行效率，然而人工配置系統(tǒng)不僅在系統(tǒng)配置上往往不能達到最優(yōu)

3、，而且參數(shù)配置無法做到根據(jù)實際的運行環(huán)境進行自適應調(diào)整，因此，如何在基于DStream模型的流處理系統(tǒng)Spark Streaming上實現(xiàn)動態(tài)配置和管理成為一個重要的研究熱點。
　　針對上述問題，本文從基于DStream模型的流處理系統(tǒng)的動態(tài)配置和管理方面展開研究，力求尋找一種優(yōu)化配置方案使得系統(tǒng)經(jīng)過動態(tài)配置后不僅可以取得較強的性能，而且可以根據(jù)系統(tǒng)的運行環(huán)境進行自適應調(diào)整?；贒Stream模型的流處理系統(tǒng)Spark Strea

4、ming分為數(shù)據(jù)準備、數(shù)據(jù)接收、數(shù)據(jù)處理三個階段，本文將針對這三個階段分別提出對應的動態(tài)配置策略，以實現(xiàn)基于DStream流處理系統(tǒng)的全過程動態(tài)配置，而且針對集群環(huán)境變化進行自適應調(diào)整和管理。
　　1.數(shù)據(jù)準備階段:Spark Streaming批處理時間間隔的配置對端到端時延和系統(tǒng)穩(wěn)定性具有重要影響，因此針對批處理時間間隔的動態(tài)配置問題，本文提出了一種基于迭代思想的時間間隔劃分方法。首先，根據(jù)批次間隔和處理時延關系，制定A，B，

5、C三級調(diào)整策略，迅速找到最佳的批次間隔大小;然后以相鄰兩個批次為依據(jù)，采用Aitken迭代法對批處理時間間隔進行快速自適應調(diào)整。通過實驗證明該方法有效減少了端對端延時，加快了迭代調(diào)整的速率，具有較好的穩(wěn)定性;
　　2.數(shù)據(jù)接收階段:不合理的接收器并行度配置將增加處理時延或降低系統(tǒng)吞吐量，而分配不合理則將引起負載傾斜。針對接收器并行度配置問題，通過分析處理時延、外部數(shù)據(jù)流速、吞吐量等因素對接收器并行度的影響，提出基于模擬退火算法的動

6、態(tài)配置算法LDSA，利用該算法找到最優(yōu)的接收器并行度。針對接收器分配問題，改進了原來分配策略，提出了對接收器先進行輪詢分配再進行加權(quán)輪詢的方式，避免了資源盲目分配和負載傾斜。通過實驗證明該算法有較高的準確率和較快的執(zhí)行速率。
　　3.數(shù)據(jù)處理階段:合理的緩存配置策略會影響流數(shù)據(jù)的處理性能。本文針對實時資源提出了基于DAG圖的BSP算法，實現(xiàn)了對DStream的自動化緩存配置;并對DStream價值進行分析，提出了基于DStream

7、價值的緩存替代算法，提高了緩存空間的利用率。針對歷史數(shù)據(jù)緩存的處理，將歷史數(shù)據(jù)分為近期數(shù)據(jù)和遠期數(shù)據(jù)，采用抽樣的思想對近期數(shù)據(jù)進行緩存決策，對遠期數(shù)據(jù)只記錄統(tǒng)計信息進一步壓縮數(shù)據(jù)存儲。經(jīng)實驗分析該算法任務執(zhí)行具有較高的執(zhí)行效率。
　　通過對上述三個方面進行研究，本文提出了一種基于DStreams模型的流處理系統(tǒng)的動態(tài)自適應配置和調(diào)整機制，通過該機制，實現(xiàn)了Spark Streaming系統(tǒng)在數(shù)據(jù)準備、數(shù)據(jù)接收和數(shù)據(jù)處理三個階段的自