網(wǎng)絡化測試虛擬計算資源管理調(diào)度系統(tǒng)開發(fā).pdf

1、利用智能儀器計算資源進行測試數(shù)據(jù)本地化處理的方法在網(wǎng)絡化測試領域的應用越來越多，相較于集中式處理方法，該方法能極大地提高數(shù)據(jù)處理實時性、降低測試數(shù)據(jù)傳輸量，從而減小網(wǎng)絡帶寬壓力，減輕測試主機工作負擔。網(wǎng)絡化測試系統(tǒng)具有分布性和異構性，要想在保證系統(tǒng)穩(wěn)定可靠的前提下充分發(fā)揮智能儀器有限的本地計算能力，高效協(xié)同完成系統(tǒng)工作，必須合理組織、高效管理各儀器資源，根據(jù)資源狀態(tài)和任務特點進行任務分配。基于上述需求，本文設計并開發(fā)了完整的計算資源管理

2、調(diào)度系統(tǒng)。
　　在廣泛調(diào)研國內(nèi)外網(wǎng)格計算和云計算領域著名資源管理調(diào)度方案的基礎上，本文提出了網(wǎng)絡化測試資源管理系統(tǒng)層次化的體系結(jié)構：按照功能和開發(fā)對象將其從上到下依次劃分為用戶層、資源管理調(diào)度層、虛擬資源層和物理層。其中資源管理調(diào)度層是系統(tǒng)核心，起到承上啟下的作用，使得用戶層和虛擬資源層相互透明。用戶層具有資源查詢和任務請求功能；資源管理調(diào)度層負責資源管理、任務調(diào)度，并提供任務分解歸并功能；虛擬資源層主要完成智能儀器資源信息的提取

3、、匯報及任務處理工作。各層節(jié)點之間通過開源的ZeroMQ消息隊列以統(tǒng)一的接口形式高效、可靠地進行信息傳遞。
　　本文將網(wǎng)絡化測試系統(tǒng)中所有智能儀器的計算資源抽象成一個虛擬資源池，進行統(tǒng)一管理。資源管理系統(tǒng)具有如下功能：對系統(tǒng)中各智能儀器的CPU、內(nèi)存、網(wǎng)絡帶寬等資源進行統(tǒng)一描述，將資源信息存儲于MySQL數(shù)據(jù)庫中，并進行實時動態(tài)更新，能及時感知到智能儀器隨機加入、主動或被動退出系統(tǒng)的動作并采取相應措施，且根據(jù)資源描述信息定位到實際

4、的智能儀器節(jié)點，為用戶提供較為靈活的資源查詢功能。
　　借助管理系統(tǒng)提供的全局資源狀態(tài)信息，本文設計并開發(fā)了資源調(diào)度系統(tǒng)。該系統(tǒng)支持任務并發(fā)，可隨時接收來自用戶的任務請求，以統(tǒng)一的任務描述形式將其加入任務隊列中。系統(tǒng)以先來先服務（FIFO，F(xiàn)irstInFirst Out）的規(guī)則從任務隊列中選擇任務，按照可行性和本地性原則將任務調(diào)度到待處理數(shù)據(jù)所在的可用資源節(jié)點上，并實時監(jiān)測任務執(zhí)行狀態(tài)。此外，本文還設計了負載均衡及故障恢復機制，

5、用以提高系統(tǒng)穩(wěn)定性和可靠性。
　　為解決測試數(shù)據(jù)在空間位置上分散，在處理邏輯上集中的矛盾，本文設計了任務分解歸并系統(tǒng)。分解模塊根據(jù)數(shù)據(jù)空間分布位置的不同將用戶提交的數(shù)據(jù)綜合處理任務分解成若干子任務，建立原任務與子任務的對應關系，并將子任務集提交給資源調(diào)度系統(tǒng)實現(xiàn)任務分配；歸并模塊定期查詢子任務執(zhí)行狀態(tài)，當某個原始任務的最后一個子任務結(jié)果達到后即刻對該原始任務的所有子任務結(jié)果進行歸并處理，得到最終計算結(jié)果。
　　最后本文設計了