面向MapReduce任務(wù)的云數(shù)據(jù)中心網(wǎng)絡(luò)資源協(xié)同優(yōu)化.pdf

1、MapReduce作為大數(shù)據(jù)處理最重要的計(jì)算模型之一，由于其易于編程、具有良好的擴(kuò)展性和高容錯(cuò)性的優(yōu)點(diǎn)，已被廣泛應(yīng)用于各個(gè)領(lǐng)域，如信息技術(shù)、數(shù)據(jù)挖掘、人工智能、數(shù)學(xué)計(jì)算等。MapReduce應(yīng)用的網(wǎng)絡(luò)傳輸階段需要占用云數(shù)據(jù)中心大量的網(wǎng)絡(luò)帶寬，這些數(shù)據(jù)傳輸產(chǎn)生了大量的網(wǎng)絡(luò)負(fù)載，不僅會(huì)造成網(wǎng)絡(luò)擁塞，還會(huì)給應(yīng)用自身的性能帶來損害。如何使不同的應(yīng)用在保證自身服務(wù)質(zhì)量的前提下共享網(wǎng)絡(luò)資源，避免帶寬競(jìng)爭(zhēng)和網(wǎng)絡(luò)擁塞，降低作業(yè)完成時(shí)間，是云數(shù)據(jù)中心亟待

2、解決的問題。
　　現(xiàn)有的針對(duì)面向 MapReduce任務(wù)的云數(shù)據(jù)中心網(wǎng)絡(luò)資源優(yōu)化研究存在以下問題：在網(wǎng)絡(luò)層，缺少有效的流量識(shí)別機(jī)制，忽略了應(yīng)用和數(shù)據(jù)流自身的屬性和對(duì)網(wǎng)絡(luò)的特殊需求；此外，當(dāng)前的流調(diào)度策略沒有考慮coflow之間的依賴關(guān)系，這嚴(yán)重降低了流調(diào)度對(duì)降低作業(yè)完成時(shí)間的有效性。在應(yīng)用層，現(xiàn)有的任務(wù)放置和調(diào)度方法無法針對(duì)實(shí)時(shí)的網(wǎng)絡(luò)狀態(tài)和節(jié)點(diǎn)容量做出合理的優(yōu)化。因此，本文自底向上地從網(wǎng)絡(luò)層和應(yīng)用層解決面向MapReduce任務(wù)的

3、云數(shù)據(jù)中心網(wǎng)絡(luò)資源的共享問題。主要工作如下：
　　（1）實(shí)現(xiàn)了一種基于 OpenFlow協(xié)議的流標(biāo)記和識(shí)別機(jī)制，通過網(wǎng)絡(luò)過濾器更改Ipv4數(shù)據(jù)包頭的Tos字段來區(qū)分標(biāo)記不同應(yīng)用的數(shù)據(jù)流。
　?。?）研究了在任務(wù)截止時(shí)間約束條件下的相互依賴的coflow調(diào)度問題，構(gòu)造了一個(gè)最小化作業(yè)平均完成時(shí)間的優(yōu)化問題，并相應(yīng)地提出了兩層調(diào)度算法。通過優(yōu)先滿足瓶頸時(shí)間段和瓶頸鏈路的帶寬分配實(shí)現(xiàn)在作業(yè)層面的調(diào)度；采用優(yōu)先級(jí)調(diào)度和加權(quán)平均調(diào)度算

4、法來保證coflow之間不同的依賴性，實(shí)現(xiàn)作業(yè)內(nèi)部coflow的調(diào)度。
　　（3）綜合考慮了傳輸數(shù)據(jù)量、實(shí)時(shí)帶寬容量、傳輸距離和節(jié)點(diǎn)計(jì)算資源容量對(duì)任務(wù)完成時(shí)間的影響，進(jìn)一步提出了通過放置Reduce任務(wù)來減少Shuffle階段傳輸代價(jià)的優(yōu)化模型。
　　模擬實(shí)驗(yàn)結(jié)果表明，本文提出的兩層調(diào)度算法比傳統(tǒng)的最短作業(yè)優(yōu)先方法減少了約18%的作業(yè)平均完成時(shí)間，在有截止時(shí)間限制的條件下，提升作業(yè)完成率21%。最小傳輸代價(jià)任務(wù)放置策略相比平