一種流式計算平臺的設(shè)計與實現(xiàn).pdf

1、隨著信息技術(shù)和互聯(lián)網(wǎng)的發(fā)展，基于流式數(shù)據(jù)的應(yīng)用越來越多，傳統(tǒng)的計算架構(gòu)已經(jīng)無法滿足這類應(yīng)用的需求。本文針對于基于數(shù)據(jù)采集和在線統(tǒng)計分析等Web應(yīng)用的現(xiàn)實問題，設(shè)計并實現(xiàn)了一個流式計算平臺Mos。Mos是一個分布式、高可用、可擴(kuò)展、低延遲、基于Map Reduce編程模型的流式計算平臺，能夠滿足對實時應(yīng)用的需求。
　　 本文深入分析了當(dāng)前若干主流的分布式系統(tǒng)的架構(gòu)，以實現(xiàn)一個流式計算平臺為目標(biāo)，緊緊圍繞著可擴(kuò)展性、低延遲和高可用性

2、三方面展開研究，本文的主要工作為：
　　 (1)分析和總結(jié)了目前主流平臺的特點，吸取了其中優(yōu)秀的思想，完成了Mos架構(gòu)的設(shè)計與實現(xiàn)。
　　 (2)由于流式計算平臺低延遲的要求，集群的負(fù)載平衡是影響系統(tǒng)性能的關(guān)鍵問題，本文深入探討了負(fù)載平衡問題，并提出了一種基于資源利用率的、動態(tài)變化的負(fù)載平衡策略，使得任務(wù)會隨著節(jié)點運行情況實現(xiàn)動態(tài)調(diào)整。
　　 (3)要保證一個系統(tǒng)的可用性，需要對錯誤有一定的容忍度，本文提出了一種