一種流式計(jì)算平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)和互聯(lián)網(wǎng)的發(fā)展，基于流式數(shù)據(jù)的應(yīng)用越來(lái)越多，傳統(tǒng)的計(jì)算架構(gòu)已經(jīng)無(wú)法滿足這類應(yīng)用的需求。本文針對(duì)于基于數(shù)據(jù)采集和在線統(tǒng)計(jì)分析等Web應(yīng)用的現(xiàn)實(shí)問(wèn)題，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)流式計(jì)算平臺(tái)Mos。Mos是一個(gè)分布式、高可用、可擴(kuò)展、低延遲、基于Map Reduce編程模型的流式計(jì)算平臺(tái)，能夠滿足對(duì)實(shí)時(shí)應(yīng)用的需求。
　　 本文深入分析了當(dāng)前若干主流的分布式系統(tǒng)的架構(gòu)，以實(shí)現(xiàn)一個(gè)流式計(jì)算平臺(tái)為目標(biāo)，緊緊圍繞著可擴(kuò)展性、低延遲和高可用性

2、三方面展開(kāi)研究，本文的主要工作為：
　　 (1)分析和總結(jié)了目前主流平臺(tái)的特點(diǎn)，吸取了其中優(yōu)秀的思想，完成了Mos架構(gòu)的設(shè)計(jì)與實(shí)現(xiàn)。
　　 (2)由于流式計(jì)算平臺(tái)低延遲的要求，集群的負(fù)載平衡是影響系統(tǒng)性能的關(guān)鍵問(wèn)題，本文深入探討了負(fù)載平衡問(wèn)題，并提出了一種基于資源利用率的、動(dòng)態(tài)變化的負(fù)載平衡策略，使得任務(wù)會(huì)隨著節(jié)點(diǎn)運(yùn)行情況實(shí)現(xiàn)動(dòng)態(tài)調(diào)整。
　　 (3)要保證一個(gè)系統(tǒng)的可用性，需要對(duì)錯(cuò)誤有一定的容忍度，本文提出了一種