基于批處理模式的實(shí)時(shí)流處理系統(tǒng).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展和各類智能設(shè)備的普及，人類產(chǎn)生的數(shù)據(jù)量呈爆炸式增長。如何實(shí)時(shí)有效地處理這些大數(shù)據(jù)已經(jīng)成為當(dāng)今學(xué)界和工業(yè)界的研究熱點(diǎn)。為此，涌現(xiàn)出許多分布式流處理框架。它們大致可以分為兩大類：以Storm、S4等為代表的連續(xù)流處理系統(tǒng)，以及以Spark Streaming、HOP為代表的離散流處理系統(tǒng)。離散流處理系統(tǒng)吞吐率大，容錯恢復(fù)快速容易，易于與批處理應(yīng)用結(jié)合。但由于它們是基于批處理模式，在面臨實(shí)時(shí)性要求較高的流計(jì)算應(yīng)用以及系統(tǒng)中

2、大量微小任務(wù)時(shí)往往表現(xiàn)出負(fù)載不均衡、延遲較高等不適應(yīng)性，導(dǎo)致流計(jì)算應(yīng)用得不到及時(shí)快速的響應(yīng)，甚至影響到整個(gè)系統(tǒng)的穩(wěn)定。
　　在分布式集群環(huán)境下，基于批處理模式的實(shí)時(shí)流處理系統(tǒng)可以解決上述問題。其通過在流計(jì)算應(yīng)用處理過程中監(jiān)控作業(yè)的運(yùn)行狀態(tài)，動態(tài)地計(jì)算節(jié)點(diǎn)處理能力，并根據(jù)輸入流的歷史輸入速率數(shù)據(jù)預(yù)測未來的輸入流速率，設(shè)計(jì)并實(shí)現(xiàn)了一種前瞻式的負(fù)載均衡機(jī)制。系統(tǒng)采用微小批次作為數(shù)據(jù)單元，在接收數(shù)據(jù)的同時(shí)根據(jù)各個(gè)工作節(jié)點(diǎn)處理能力的不同分發(fā)

3、與之能力相適應(yīng)的數(shù)據(jù)量到特定節(jié)點(diǎn)。從而在數(shù)據(jù)處理階段，擁有數(shù)據(jù)的節(jié)點(diǎn)能夠在本地發(fā)起任務(wù)，達(dá)到更好的數(shù)據(jù)本地性和系統(tǒng)負(fù)載均衡，實(shí)現(xiàn)更低的處理延遲。此外，系統(tǒng)通過在數(shù)據(jù)接收階段就進(jìn)行了數(shù)據(jù)的分發(fā)，使得數(shù)據(jù)接收節(jié)點(diǎn)因?yàn)閿?shù)據(jù)輸入速率過快而成為系統(tǒng)瓶頸的可能性降低，有效地提高了吞吐率。
　　實(shí)驗(yàn)結(jié)果表明，基于批處理模式的實(shí)時(shí)流處理系統(tǒng)對傳統(tǒng)離散流處理系統(tǒng)在處理延遲和吞吐率性能上都有很大的提升，分別可達(dá)50％和200%。并且隨著流應(yīng)用復(fù)雜度的