網(wǎng)絡(luò)化測(cè)試虛擬計(jì)算資源管理調(diào)度系統(tǒng)開(kāi)發(fā).pdf

1、利用智能儀器計(jì)算資源進(jìn)行測(cè)試數(shù)據(jù)本地化處理的方法在網(wǎng)絡(luò)化測(cè)試領(lǐng)域的應(yīng)用越來(lái)越多，相較于集中式處理方法，該方法能極大地提高數(shù)據(jù)處理實(shí)時(shí)性、降低測(cè)試數(shù)據(jù)傳輸量，從而減小網(wǎng)絡(luò)帶寬壓力，減輕測(cè)試主機(jī)工作負(fù)擔(dān)。網(wǎng)絡(luò)化測(cè)試系統(tǒng)具有分布性和異構(gòu)性，要想在保證系統(tǒng)穩(wěn)定可靠的前提下充分發(fā)揮智能儀器有限的本地計(jì)算能力，高效協(xié)同完成系統(tǒng)工作，必須合理組織、高效管理各儀器資源，根據(jù)資源狀態(tài)和任務(wù)特點(diǎn)進(jìn)行任務(wù)分配?；谏鲜鲂枨螅疚脑O(shè)計(jì)并開(kāi)發(fā)了完整的計(jì)算資源管理

2、調(diào)度系統(tǒng)。
　　在廣泛調(diào)研國(guó)內(nèi)外網(wǎng)格計(jì)算和云計(jì)算領(lǐng)域著名資源管理調(diào)度方案的基礎(chǔ)上，本文提出了網(wǎng)絡(luò)化測(cè)試資源管理系統(tǒng)層次化的體系結(jié)構(gòu)：按照功能和開(kāi)發(fā)對(duì)象將其從上到下依次劃分為用戶(hù)層、資源管理調(diào)度層、虛擬資源層和物理層。其中資源管理調(diào)度層是系統(tǒng)核心，起到承上啟下的作用，使得用戶(hù)層和虛擬資源層相互透明。用戶(hù)層具有資源查詢(xún)和任務(wù)請(qǐng)求功能；資源管理調(diào)度層負(fù)責(zé)資源管理、任務(wù)調(diào)度，并提供任務(wù)分解歸并功能；虛擬資源層主要完成智能儀器資源信息的提取

3、、匯報(bào)及任務(wù)處理工作。各層節(jié)點(diǎn)之間通過(guò)開(kāi)源的ZeroMQ消息隊(duì)列以統(tǒng)一的接口形式高效、可靠地進(jìn)行信息傳遞。
　　本文將網(wǎng)絡(luò)化測(cè)試系統(tǒng)中所有智能儀器的計(jì)算資源抽象成一個(gè)虛擬資源池，進(jìn)行統(tǒng)一管理。資源管理系統(tǒng)具有如下功能：對(duì)系統(tǒng)中各智能儀器的CPU、內(nèi)存、網(wǎng)絡(luò)帶寬等資源進(jìn)行統(tǒng)一描述，將資源信息存儲(chǔ)于MySQL數(shù)據(jù)庫(kù)中，并進(jìn)行實(shí)時(shí)動(dòng)態(tài)更新，能及時(shí)感知到智能儀器隨機(jī)加入、主動(dòng)或被動(dòng)退出系統(tǒng)的動(dòng)作并采取相應(yīng)措施，且根據(jù)資源描述信息定位到實(shí)際

4、的智能儀器節(jié)點(diǎn)，為用戶(hù)提供較為靈活的資源查詢(xún)功能。
　　借助管理系統(tǒng)提供的全局資源狀態(tài)信息，本文設(shè)計(jì)并開(kāi)發(fā)了資源調(diào)度系統(tǒng)。該系統(tǒng)支持任務(wù)并發(fā)，可隨時(shí)接收來(lái)自用戶(hù)的任務(wù)請(qǐng)求，以統(tǒng)一的任務(wù)描述形式將其加入任務(wù)隊(duì)列中。系統(tǒng)以先來(lái)先服務(wù)（FIFO，F(xiàn)irstInFirst Out）的規(guī)則從任務(wù)隊(duì)列中選擇任務(wù)，按照可行性和本地性原則將任務(wù)調(diào)度到待處理數(shù)據(jù)所在的可用資源節(jié)點(diǎn)上，并實(shí)時(shí)監(jiān)測(cè)任務(wù)執(zhí)行狀態(tài)。此外，本文還設(shè)計(jì)了負(fù)載均衡及故障恢復(fù)機(jī)制，

5、用以提高系統(tǒng)穩(wěn)定性和可靠性。
　　為解決測(cè)試數(shù)據(jù)在空間位置上分散，在處理邏輯上集中的矛盾，本文設(shè)計(jì)了任務(wù)分解歸并系統(tǒng)。分解模塊根據(jù)數(shù)據(jù)空間分布位置的不同將用戶(hù)提交的數(shù)據(jù)綜合處理任務(wù)分解成若干子任務(wù)，建立原任務(wù)與子任務(wù)的對(duì)應(yīng)關(guān)系，并將子任務(wù)集提交給資源調(diào)度系統(tǒng)實(shí)現(xiàn)任務(wù)分配；歸并模塊定期查詢(xún)子任務(wù)執(zhí)行狀態(tài)，當(dāng)某個(gè)原始任務(wù)的最后一個(gè)子任務(wù)結(jié)果達(dá)到后即刻對(duì)該原始任務(wù)的所有子任務(wù)結(jié)果進(jìn)行歸并處理，得到最終計(jì)算結(jié)果。
　　最后本文設(shè)計(jì)了