基于Windows的分布式處理系統(tǒng)設(shè)計(jì).pdf

1、隨著 IT與通信行業(yè)的飛速發(fā)展，全球數(shù)據(jù)以爆炸性速度增長(zhǎng)，大數(shù)據(jù)時(shí)代應(yīng)運(yùn)而生。大數(shù)據(jù)的主流處理技術(shù)——分布式系統(tǒng)，更是近年來(lái)最熱門的研究技術(shù)之一。本文正是基于此背景下，以Windows操作系統(tǒng)下的通用PC機(jī)集群作為硬件平臺(tái)，設(shè)計(jì)了基于數(shù)據(jù)處理任務(wù)的分布式協(xié)同處理系統(tǒng)。
　　根據(jù)計(jì)算服務(wù)器的操作方式區(qū)分，本文提出了兩種分布式處理系統(tǒng)設(shè)計(jì)模式：基于數(shù)據(jù)庫(kù)任務(wù)管理的“主動(dòng)模式”與基于客戶機(jī)/服務(wù)器(C/S)架構(gòu)的“被動(dòng)模式”。兩種模式系

2、統(tǒng)均基于有向無(wú)環(huán)圖(DAG圖)、分布式文件系統(tǒng)以及數(shù)據(jù)庫(kù)等技術(shù)實(shí)現(xiàn)。
　　“主動(dòng)模式”分布式處理系統(tǒng)以數(shù)據(jù)庫(kù)作為管理核心，將計(jì)算任務(wù)/模塊作為日志存放在數(shù)據(jù)庫(kù)記錄中，計(jì)算服務(wù)器通過(guò)爭(zhēng)搶任務(wù)的形式從數(shù)據(jù)庫(kù)中取出數(shù)據(jù)處理模塊完成處理。本文提出了四種計(jì)算模塊調(diào)度策略，并在“主動(dòng)模式”系統(tǒng)中針對(duì)簡(jiǎn)單的權(quán)重優(yōu)先調(diào)度策略與計(jì)算任務(wù)優(yōu)先調(diào)度策略進(jìn)行了實(shí)現(xiàn)。根據(jù)實(shí)際運(yùn)行效果，可知簡(jiǎn)單的權(quán)重優(yōu)先調(diào)度策略對(duì)于全局模塊處理效率提升明顯，而計(jì)算任務(wù)優(yōu)先調(diào)

3、度策略對(duì)于高時(shí)序性數(shù)據(jù)處理任務(wù)有更好的處理效果。
　　“被動(dòng)模式”分布式處理系統(tǒng)基于客戶機(jī)/服務(wù)器架構(gòu)，系統(tǒng)中監(jiān)控服務(wù)器對(duì)計(jì)算任務(wù)/模塊以及在線計(jì)算服務(wù)器進(jìn)行管理，根據(jù)計(jì)算服務(wù)器狀態(tài)及簡(jiǎn)單的權(quán)重優(yōu)先調(diào)度策略分配計(jì)算任務(wù)/模塊，計(jì)算服務(wù)器被動(dòng)接收指令完成相應(yīng)處理。本文就“被動(dòng)模式”系統(tǒng)的通信模塊、數(shù)據(jù)結(jié)構(gòu)與算法以及數(shù)據(jù)庫(kù)三方面進(jìn)行了技術(shù)分析，并證明了在計(jì)算任務(wù)數(shù)量和規(guī)模復(fù)雜性變化時(shí)，“被動(dòng)模式”系統(tǒng)均有較好的效率提升表現(xiàn)。