高擴展高容錯流式處理系統(tǒng)設(shè)計與實現(xiàn).pdf

1、近年來各種應用產(chǎn)生的數(shù)據(jù)呈爆炸性增長，其中很大一部分是實時產(chǎn)生的數(shù)據(jù)，具有無限性、無序性、突發(fā)性、易失性等特點，并且通常數(shù)據(jù)的價值隨時間而減少。如何為這些需要實時分析處理的數(shù)據(jù)提供穩(wěn)定、正確、高效、實時的分布式運行環(huán)境成為一個值得仔細研究的問題。
　　流式處理系統(tǒng)旨在解決這一問題，但現(xiàn)有的流式處理系統(tǒng)還有許多可以改進的地方。本文在吸收這些系統(tǒng)的設(shè)計經(jīng)驗的基礎(chǔ)上結(jié)合對流式系統(tǒng)的理解設(shè)計實現(xiàn)了高擴展、高容錯的流式處理系統(tǒng)DStream

2、，主要工作如下:
　　總體架構(gòu)采用主從方式和無狀態(tài)設(shè)計，主節(jié)點和工作節(jié)點主要通過分布式協(xié)調(diào)服務進行通信，避免功能模塊相互耦合，提供設(shè)計良好的任務模型方便應用開發(fā)。這些設(shè)計為系統(tǒng)的擴展性和容錯性設(shè)計打下了堅實的基礎(chǔ)。
　　擴展性方面提供從集群節(jié)點、處理邏輯、任務配置到任務運行一整套環(huán)節(jié)的擴展性支持:支持工作節(jié)點動態(tài)增刪以調(diào)整集群資源;支持處理邏輯、任務配置更新并實時檢測在線更新，為應用迭代開發(fā)提供了良好支持;靈活應對流速變化的

3、數(shù)據(jù)，既保證系統(tǒng)不因數(shù)據(jù)過多而崩潰又提供措施使系統(tǒng)資源動態(tài)分配以滿足處理需求。
　　容錯性方面系統(tǒng)支持物理節(jié)點、執(zhí)行單元以及任務執(zhí)行等各環(huán)節(jié)的容錯:每個功能模塊都有措施應對其節(jié)點出錯;執(zhí)行單元出錯后系統(tǒng)檢測到并進行重新調(diào)度;任務執(zhí)行時系統(tǒng)提供數(shù)據(jù)至多處理一次、至少處理一次以及恰好處理一次的容錯性支持，極大的提高了系統(tǒng)的適用范圍，為用戶提供效率和容錯性級別之間的選擇。
　　文章最后通過基于DStream流式處理系統(tǒng)實現(xiàn)的應用場