分布式計算引擎的集群管理及負載均衡策略研究.pdf

1、當今，隨著信息化步伐的加速，網(wǎng)絡(luò)數(shù)據(jù)量爆發(fā)式增長，如何高效處理海量數(shù)據(jù)業(yè)務(wù)成為一個研究熱點。分布式計算的思想以及相關(guān)研究成果給出了一個比較明確的研究方向。
　　本文通過對分布式計算技術(shù)的分析研究，結(jié)合當前一些分布式計算相關(guān)產(chǎn)品的設(shè)計思想和實際項目需求，為電信領(lǐng)域的海量數(shù)據(jù)處理設(shè)計出一套全新的解決方案，實現(xiàn)了一個分布式計算引擎DVCP(Distributed Virtual Computing Platform)，即分布式虛擬化計算

2、平臺。利用分布式計算技術(shù)將復雜的數(shù)據(jù)業(yè)務(wù)進行分割、分散到多臺服務(wù)器中，在較低廉的系統(tǒng)資源部署情況下完成大量數(shù)據(jù)業(yè)務(wù)的處理。
　　論文的主要研究工作包括以下幾點：
　　1、DVCP系統(tǒng)設(shè)計，利用分布式計算思想，將復雜的任務(wù)分割成多個較為簡單且清晰的步驟，由各服務(wù)器分別完成。實現(xiàn)系統(tǒng)的基本數(shù)據(jù)業(yè)務(wù)功能，包括原始數(shù)據(jù)采集、數(shù)據(jù)匯總、數(shù)據(jù)查詢、數(shù)據(jù)備份。同時，對系統(tǒng)任務(wù)控制調(diào)度中心服務(wù)器Master的模塊設(shè)計進行了詳細分析。

3、　　2、為實現(xiàn)系統(tǒng)高可靠性和可擴展性，設(shè)計并實現(xiàn)了一整套系統(tǒng)集群管理技術(shù)，包括集群節(jié)點狀態(tài)的統(tǒng)一管理、各節(jié)點的故障恢復以及雙機熱備。為實現(xiàn)系統(tǒng)各功能，還專門設(shè)計了一套高效、可靠的網(wǎng)絡(luò)通信機制。
　　3、實現(xiàn)了DVCP系統(tǒng)所特有的負載均衡機制。各計算節(jié)點主動申請任務(wù)并實現(xiàn)自身的負載均衡，中心控制節(jié)點Master只負責負載數(shù)據(jù)收發(fā)與計算，不做負載均衡決策。不但很好地實現(xiàn)了項目對負載均衡的需求，而且降低了系統(tǒng)實現(xiàn)復雜度以及Master的