面向電信訂單的分布式任務(wù)調(diào)度系統(tǒng)設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)、通訊和數(shù)字技術(shù)的發(fā)展，加速推動了運營商從傳統(tǒng)電信業(yè)務(wù)提供商向數(shù)字業(yè)務(wù)提供商轉(zhuǎn)型。在這個過程中電信領(lǐng)域的增值業(yè)務(wù)得到了蓬勃發(fā)展，電信業(yè)務(wù)越來越多元化，用戶辦理手機上網(wǎng)流量包、親情號、來電名片等增值業(yè)務(wù)產(chǎn)生的訂單任務(wù)量急劇增長。訂單任務(wù)粒度大小不同，長短差異巨大，不同類型的業(yè)務(wù)辦理訂單任務(wù)對執(zhí)行機的資源需求不同，導(dǎo)致調(diào)度復(fù)雜，容易產(chǎn)生任務(wù)分配不均衡，系統(tǒng)資源利用率低，吞吐量波動性大以及系統(tǒng)運行不穩(wěn)定的問題。
　　公司現(xiàn)有訂

2、單任務(wù)管理系統(tǒng)面臨的主要問題如下:首先，其在控制任務(wù)流、任務(wù)分配方面不夠理想，容易發(fā)生較嚴(yán)重的任務(wù)吞吐量上下震蕩，使系統(tǒng)容易發(fā)生瞬時過載，甚至宕機現(xiàn)象，其次，系統(tǒng)設(shè)計時為了提高資源利用率，使用了任務(wù)遷移的策略，但遷移任務(wù)的管理開銷過高，占用了過多額外的系統(tǒng)資源，有時反而進(jìn)一步降低系統(tǒng)利用率;另外，系統(tǒng)使用單臺協(xié)調(diào)服務(wù)器，不僅容易出現(xiàn)單點問題，降低了系統(tǒng)的可靠性;而且當(dāng)訪問量過大時，服務(wù)器會成為系統(tǒng)訪問量受限的瓶頸。
　　針對原有的

3、訂單管理系統(tǒng)在任務(wù)調(diào)度時的不足，本文對任務(wù)反饋控制進(jìn)行了優(yōu)化，并提出一種能夠?qū)崿F(xiàn)資源自我檢測的主動式調(diào)度方法，然后結(jié)合ZooKeeper設(shè)計并實現(xiàn)了一種新的訂單任務(wù)管理系統(tǒng)中的任務(wù)調(diào)度子系統(tǒng)，具體工作包括:
　　(1)為了有效控制訂單任務(wù)流平穩(wěn)的進(jìn)入系統(tǒng)，將PID控制技術(shù)引入任務(wù)流的反饋控制中，并對PID控制采用積分分離與增加積分飽和閥值的優(yōu)化策略，提高反饋控制的效果，有效抑制進(jìn)入系統(tǒng)任務(wù)量的起伏，提高系統(tǒng)的穩(wěn)定性。
　　(

4、2)為解決現(xiàn)有系統(tǒng)節(jié)點資源利用率低的問題，設(shè)計并實現(xiàn)一種調(diào)度主動權(quán)遷移的任務(wù)調(diào)度方式，能夠進(jìn)行資源自我檢測，降低了自身的管理開銷，并充分使用節(jié)點的資源，同時促使節(jié)點量力而行，保證節(jié)點健康的工作。
　　(3)基于本文提出的反饋控制策略和任務(wù)調(diào)度方式，設(shè)計并實現(xiàn)一個高可用的面向電信訂單分布式任務(wù)調(diào)度系統(tǒng)，同時在實現(xiàn)中引入ZooKeeper，利用其在分布式協(xié)調(diào)服務(wù)方面的特性，來解決原系統(tǒng)存在的服務(wù)單點故障及性能瓶頸問題，并對該系統(tǒng)進(jìn)行部

5、署和測試，來驗證本論文的研究成果。
　　本文提出的面向電信訂單的分布式任務(wù)調(diào)度系統(tǒng)很好的解決了現(xiàn)有的訂單管理系統(tǒng)在任務(wù)調(diào)度時，處理節(jié)點資源浪費的問題和進(jìn)入系統(tǒng)任務(wù)量震蕩的問題，并在很大程度上避免了單點故障對系統(tǒng)可靠性的影響。實驗結(jié)果表明CPU和內(nèi)存利用率比原系統(tǒng)平均分別提高了11.23％和1067％，任務(wù)完成時間平均減少了952％，抑制了進(jìn)入系統(tǒng)的任務(wù)流出現(xiàn)震蕩現(xiàn)象，系統(tǒng)運行穩(wěn)定，減少經(jīng)濟成本，為運營商獲得較大的收益，并為分任務(wù)調(diào)