面向電信訂單的分布式任務調(diào)度系統(tǒng)設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)、通訊和數(shù)字技術的發(fā)展，加速推動了運營商從傳統(tǒng)電信業(yè)務提供商向數(shù)字業(yè)務提供商轉型。在這個過程中電信領域的增值業(yè)務得到了蓬勃發(fā)展，電信業(yè)務越來越多元化，用戶辦理手機上網(wǎng)流量包、親情號、來電名片等增值業(yè)務產(chǎn)生的訂單任務量急劇增長。訂單任務粒度大小不同，長短差異巨大，不同類型的業(yè)務辦理訂單任務對執(zhí)行機的資源需求不同，導致調(diào)度復雜，容易產(chǎn)生任務分配不均衡，系統(tǒng)資源利用率低，吞吐量波動性大以及系統(tǒng)運行不穩(wěn)定的問題。
　　公司現(xiàn)有訂

2、單任務管理系統(tǒng)面臨的主要問題如下:首先，其在控制任務流、任務分配方面不夠理想，容易發(fā)生較嚴重的任務吞吐量上下震蕩，使系統(tǒng)容易發(fā)生瞬時過載，甚至宕機現(xiàn)象，其次，系統(tǒng)設計時為了提高資源利用率，使用了任務遷移的策略，但遷移任務的管理開銷過高，占用了過多額外的系統(tǒng)資源，有時反而進一步降低系統(tǒng)利用率;另外，系統(tǒng)使用單臺協(xié)調(diào)服務器，不僅容易出現(xiàn)單點問題，降低了系統(tǒng)的可靠性;而且當訪問量過大時，服務器會成為系統(tǒng)訪問量受限的瓶頸。
　　針對原有的

3、訂單管理系統(tǒng)在任務調(diào)度時的不足，本文對任務反饋控制進行了優(yōu)化，并提出一種能夠?qū)崿F(xiàn)資源自我檢測的主動式調(diào)度方法，然后結合ZooKeeper設計并實現(xiàn)了一種新的訂單任務管理系統(tǒng)中的任務調(diào)度子系統(tǒng)，具體工作包括:
　　(1)為了有效控制訂單任務流平穩(wěn)的進入系統(tǒng)，將PID控制技術引入任務流的反饋控制中，并對PID控制采用積分分離與增加積分飽和閥值的優(yōu)化策略，提高反饋控制的效果，有效抑制進入系統(tǒng)任務量的起伏，提高系統(tǒng)的穩(wěn)定性。
　　(

4、2)為解決現(xiàn)有系統(tǒng)節(jié)點資源利用率低的問題，設計并實現(xiàn)一種調(diào)度主動權遷移的任務調(diào)度方式，能夠進行資源自我檢測，降低了自身的管理開銷，并充分使用節(jié)點的資源，同時促使節(jié)點量力而行，保證節(jié)點健康的工作。
　　(3)基于本文提出的反饋控制策略和任務調(diào)度方式，設計并實現(xiàn)一個高可用的面向電信訂單分布式任務調(diào)度系統(tǒng)，同時在實現(xiàn)中引入ZooKeeper，利用其在分布式協(xié)調(diào)服務方面的特性，來解決原系統(tǒng)存在的服務單點故障及性能瓶頸問題，并對該系統(tǒng)進行部

5、署和測試，來驗證本論文的研究成果。
　　本文提出的面向電信訂單的分布式任務調(diào)度系統(tǒng)很好的解決了現(xiàn)有的訂單管理系統(tǒng)在任務調(diào)度時，處理節(jié)點資源浪費的問題和進入系統(tǒng)任務量震蕩的問題，并在很大程度上避免了單點故障對系統(tǒng)可靠性的影響。實驗結果表明CPU和內(nèi)存利用率比原系統(tǒng)平均分別提高了11.23％和1067％，任務完成時間平均減少了952％，抑制了進入系統(tǒng)的任務流出現(xiàn)震蕩現(xiàn)象，系統(tǒng)運行穩(wěn)定，減少經(jīng)濟成本，為運營商獲得較大的收益，并為分任務調(diào)