分布式業(yè)務集成部署平臺的設計與實現(xiàn).pdf

1、近年來，隨著應用的多樣化發(fā)展和大數(shù)據(jù)時代的來臨，學術界和工業(yè)界設計并實現(xiàn)了多種分布式業(yè)務系統(tǒng)作為編程框架來應對日益增多的數(shù)據(jù)類型和應用需求多樣性挑戰(zhàn)，例如適用于離線批處理場景的框架MapReduce、適用于流式計算場景的框架Storm、適用于內(nèi)存迭代計算場景的框架Spark、適用于DAG計算場景的框架Tez、適用于圖計算場景的框架Pregel等。在未來的發(fā)展中，新的計算框架有很大概率會持續(xù)性出現(xiàn)。無論是現(xiàn)有框架還是未來的框架，都將專注于

2、特定應用場景，不會出現(xiàn)某個計算框架能適用于全部的應用場景，成為它們共同的最佳選擇。在生產(chǎn)環(huán)境中，分布式業(yè)務系統(tǒng)經(jīng)常也離不開某些通用服務，例如Web服務器、數(shù)據(jù)庫服務器等。為每個分布式業(yè)務系統(tǒng)提供專門的基礎設施，單獨設計部署存在擴展性差、利用率偏低等問題。
　　針對以上這些問題，本文結合國內(nèi)外現(xiàn)有的研究情況，分析當前部署支撐平臺的架構和特點，設計并實現(xiàn)了分布式業(yè)務系統(tǒng)集成部署平臺（Distributed business syste

3、m Deploy Platform，DDP），提供自動化部署分布式業(yè)務系統(tǒng)并高伸縮定制化運營的基礎支撐服務。主要工作與創(chuàng)新點如下：
　　1．實現(xiàn)集群復用，在一個集群整體上運行各種計算框架等分布式業(yè)務系統(tǒng)，并根據(jù)異構性的業(yè)務資源請求，自適應最優(yōu)匹配的承載節(jié)點?；跇I(yè)務負載動態(tài)擴容和收縮。按需索取計算資源，當業(yè)務負載超過閾值高位值時，進行動態(tài)擴容，為業(yè)務模塊的分配更多的資源，當業(yè)務負載小于低位值時，進行收縮，回收空閑資源。實時監(jiān)控業(yè)務