網(wǎng)絡(luò)化測試虛擬計算資源管理調(diào)度系統(tǒng)開發(fā).pdf

1、利用智能儀器計算資源進(jìn)行測試數(shù)據(jù)本地化處理的方法在網(wǎng)絡(luò)化測試領(lǐng)域的應(yīng)用越來越多，相較于集中式處理方法，該方法能極大地提高數(shù)據(jù)處理實時性、降低測試數(shù)據(jù)傳輸量，從而減小網(wǎng)絡(luò)帶寬壓力，減輕測試主機(jī)工作負(fù)擔(dān)。網(wǎng)絡(luò)化測試系統(tǒng)具有分布性和異構(gòu)性，要想在保證系統(tǒng)穩(wěn)定可靠的前提下充分發(fā)揮智能儀器有限的本地計算能力，高效協(xié)同完成系統(tǒng)工作，必須合理組織、高效管理各儀器資源，根據(jù)資源狀態(tài)和任務(wù)特點進(jìn)行任務(wù)分配。基于上述需求，本文設(shè)計并開發(fā)了完整的計算資源管理

2、調(diào)度系統(tǒng)。
　　在廣泛調(diào)研國內(nèi)外網(wǎng)格計算和云計算領(lǐng)域著名資源管理調(diào)度方案的基礎(chǔ)上，本文提出了網(wǎng)絡(luò)化測試資源管理系統(tǒng)層次化的體系結(jié)構(gòu)：按照功能和開發(fā)對象將其從上到下依次劃分為用戶層、資源管理調(diào)度層、虛擬資源層和物理層。其中資源管理調(diào)度層是系統(tǒng)核心，起到承上啟下的作用，使得用戶層和虛擬資源層相互透明。用戶層具有資源查詢和任務(wù)請求功能；資源管理調(diào)度層負(fù)責(zé)資源管理、任務(wù)調(diào)度，并提供任務(wù)分解歸并功能；虛擬資源層主要完成智能儀器資源信息的提取

3、、匯報及任務(wù)處理工作。各層節(jié)點之間通過開源的ZeroMQ消息隊列以統(tǒng)一的接口形式高效、可靠地進(jìn)行信息傳遞。
　　本文將網(wǎng)絡(luò)化測試系統(tǒng)中所有智能儀器的計算資源抽象成一個虛擬資源池，進(jìn)行統(tǒng)一管理。資源管理系統(tǒng)具有如下功能：對系統(tǒng)中各智能儀器的CPU、內(nèi)存、網(wǎng)絡(luò)帶寬等資源進(jìn)行統(tǒng)一描述，將資源信息存儲于MySQL數(shù)據(jù)庫中，并進(jìn)行實時動態(tài)更新，能及時感知到智能儀器隨機(jī)加入、主動或被動退出系統(tǒng)的動作并采取相應(yīng)措施，且根據(jù)資源描述信息定位到實際

4、的智能儀器節(jié)點，為用戶提供較為靈活的資源查詢功能。
　　借助管理系統(tǒng)提供的全局資源狀態(tài)信息，本文設(shè)計并開發(fā)了資源調(diào)度系統(tǒng)。該系統(tǒng)支持任務(wù)并發(fā)，可隨時接收來自用戶的任務(wù)請求，以統(tǒng)一的任務(wù)描述形式將其加入任務(wù)隊列中。系統(tǒng)以先來先服務(wù)（FIFO，F(xiàn)irstInFirst Out）的規(guī)則從任務(wù)隊列中選擇任務(wù)，按照可行性和本地性原則將任務(wù)調(diào)度到待處理數(shù)據(jù)所在的可用資源節(jié)點上，并實時監(jiān)測任務(wù)執(zhí)行狀態(tài)。此外，本文還設(shè)計了負(fù)載均衡及故障恢復(fù)機(jī)制，

5、用以提高系統(tǒng)穩(wěn)定性和可靠性。
　　為解決測試數(shù)據(jù)在空間位置上分散，在處理邏輯上集中的矛盾，本文設(shè)計了任務(wù)分解歸并系統(tǒng)。分解模塊根據(jù)數(shù)據(jù)空間分布位置的不同將用戶提交的數(shù)據(jù)綜合處理任務(wù)分解成若干子任務(wù)，建立原任務(wù)與子任務(wù)的對應(yīng)關(guān)系，并將子任務(wù)集提交給資源調(diào)度系統(tǒng)實現(xiàn)任務(wù)分配；歸并模塊定期查詢子任務(wù)執(zhí)行狀態(tài)，當(dāng)某個原始任務(wù)的最后一個子任務(wù)結(jié)果達(dá)到后即刻對該原始任務(wù)的所有子任務(wù)結(jié)果進(jìn)行歸并處理，得到最終計算結(jié)果。
　　最后本文設(shè)計了