數(shù)據(jù)中心內(nèi)硬件資源高效的低延遲傳輸層研究.pdf

1、近年來(lái)，大型數(shù)據(jù)中心被大規(guī)模部署。這些數(shù)據(jù)中心內(nèi)運(yùn)行著大量分布式應(yīng)用，比如網(wǎng)頁(yè)搜索，數(shù)據(jù)挖掘以及存儲(chǔ)服務(wù)。網(wǎng)絡(luò)延遲對(duì)許多分布式應(yīng)用的性能至關(guān)重要。網(wǎng)絡(luò)延遲大體上可以分為兩部分:主機(jī)網(wǎng)絡(luò)協(xié)議棧的延遲和網(wǎng)絡(luò)內(nèi)部的延遲。使用RDMA（遠(yuǎn)程直接訪(fǎng)問(wèn)內(nèi)存）技術(shù)，主機(jī)延遲可以被大幅降低，但網(wǎng)絡(luò)內(nèi)部的延遲仍無(wú)很好的解決辦法。因此延遲敏感的分布式應(yīng)用的性能仍有很大提升空間。本文的目標(biāo)是為延遲敏感的分布式應(yīng)用降低網(wǎng)絡(luò)內(nèi)部的延遲，從而提升這些應(yīng)用的性能。<

2、br>　　數(shù)據(jù)中心網(wǎng)絡(luò)內(nèi)部的延遲主要來(lái)源于以下三個(gè)方面:1）粗粒度的網(wǎng)絡(luò)QoS導(dǎo)致延遲敏感的流量排隊(duì)在高吞吐量的流量之后，使得延遲敏感流量網(wǎng)絡(luò)排隊(duì)延遲大;2）粗粒度的網(wǎng)絡(luò)負(fù)載均衡帶來(lái)網(wǎng)絡(luò)流量局部熱點(diǎn);3）RDMA低效率的丟包恢復(fù)機(jī)制導(dǎo)致網(wǎng)絡(luò)延遲在丟包時(shí)大幅增大。本文的目標(biāo)是從以上三個(gè)方面來(lái)降低網(wǎng)絡(luò)內(nèi)部的延遲。針對(duì)該目標(biāo)，之前的研究提出了很多方案，但均未考慮網(wǎng)絡(luò)硬件資源有限的限制條件。網(wǎng)絡(luò)硬件資源主要指網(wǎng)絡(luò)交換機(jī)和主機(jī)網(wǎng)卡。網(wǎng)絡(luò)交換機(jī)上的

3、硬件優(yōu)先級(jí)隊(duì)列的數(shù)目以及主機(jī)網(wǎng)卡的片上資源都是很有限的。本文的創(chuàng)新點(diǎn)是在考慮網(wǎng)絡(luò)硬件資源的限制下，從上述的三方面來(lái)降低網(wǎng)絡(luò)內(nèi)部延遲。
　　首先，為解決粗粒度QoS帶來(lái)的問(wèn)題，許多工作通過(guò)細(xì)粒度的基于優(yōu)先級(jí)的流量調(diào)度來(lái)給予延遲敏感流量更高的優(yōu)先級(jí)，從而避免不必要的排隊(duì)延遲。然而，大多數(shù)工作都假設(shè)網(wǎng)絡(luò)交換機(jī)上有無(wú)窮多的優(yōu)先級(jí)隊(duì)列，這一點(diǎn)通常是不成立的。本文的研究表明，數(shù)據(jù)中心的網(wǎng)絡(luò)交換機(jī)通常只有2～3個(gè)硬件優(yōu)先級(jí)隊(duì)列可以被用于流量調(diào)度

4、。因此，如何利用有限的優(yōu)先級(jí)隊(duì)列個(gè)數(shù)來(lái)實(shí)現(xiàn)細(xì)粒度的流量調(diào)度成為了一個(gè)挑戰(zhàn)。針對(duì)這個(gè)挑戰(zhàn)，本文設(shè)計(jì)了顯示優(yōu)先級(jí)通知系統(tǒng)，利用兩個(gè)網(wǎng)絡(luò)交換機(jī)中的硬件優(yōu)先級(jí)隊(duì)列實(shí)現(xiàn)了細(xì)粒度的優(yōu)先級(jí)流量調(diào)度，降低了延遲敏感流量的流完成時(shí)間
　　其次，為提升網(wǎng)絡(luò)的負(fù)載均衡效果，許多工作利用數(shù)據(jù)中心中的多路徑來(lái)提供細(xì)粒度的負(fù)載均衡以避免局部流量熱點(diǎn)。然而，之前的大多數(shù)工作聚焦于TCP流量而非RDMA流量。RDMA實(shí)現(xiàn)在硬件網(wǎng)卡之中，片上存儲(chǔ)資源十分有限。通常

5、在MB的數(shù)量級(jí)。因此，如何利用有限的片上硬件資源來(lái)把為RDMA流量設(shè)計(jì)一個(gè)可行的負(fù)載均衡策略是一個(gè)挑戰(zhàn)。本文為RDMA設(shè)計(jì)了一個(gè)多路徑的傳輸層協(xié)議來(lái)為RDMA流量做負(fù)載均衡，在最小化片上存儲(chǔ)資源的同時(shí)，有效地提高了吞吐量并且降低了延遲。
　　最后，為提升RDMA的丟包恢復(fù)效率，本文在考慮到硬件網(wǎng)卡片上資源限制的前提下，為RDMA設(shè)計(jì)了存儲(chǔ)友好的選擇性重傳機(jī)制來(lái)提升RDMA在丟包時(shí)的重傳效率。該機(jī)制利用最小的內(nèi)存代價(jià)，大幅提升了RD