Hadoop數(shù)據(jù)中心網(wǎng)絡(luò)TCP Incast問題的研究.pdf

1、信息化年代，網(wǎng)絡(luò)資源日益龐大，用戶請(qǐng)求信息數(shù)據(jù)量伴隨著互聯(lián)網(wǎng)的發(fā)展而不斷增加。由于集群存儲(chǔ)系統(tǒng)有諸多優(yōu)勢(shì)，所以集群存儲(chǔ)系統(tǒng)已被廣泛應(yīng)用于數(shù)據(jù)中心中。集群存儲(chǔ)系統(tǒng)中，數(shù)據(jù)塊以條狀方式分散存儲(chǔ)在多個(gè)不同的服務(wù)器中，當(dāng)并發(fā)訪問的用戶過(guò)多、響應(yīng)服務(wù)器數(shù)量不斷增大、多個(gè)發(fā)送方同步將數(shù)據(jù)并發(fā)傳輸給一個(gè)接收方，當(dāng)這些并發(fā)傳輸?shù)臄?shù)據(jù)量足夠超過(guò)以太網(wǎng)交換機(jī)緩沖區(qū)大小時(shí)，就會(huì)在高帶寬低延遲的環(huán)境中發(fā)生Incast問題。
　　對(duì)Hadoop集群的構(gòu)造、

2、運(yùn)行機(jī)制以及存在于Hadoop集群中的網(wǎng)絡(luò)塌陷行為進(jìn)行了深入研究探討。結(jié)合Hadoop集群運(yùn)行環(huán)境和在集群中發(fā)生的Incast問題，對(duì)Hadoop集群中發(fā)生的Incast問題提出兩種解決方案。第一種是提出優(yōu)化TCP超時(shí)來(lái)改善Incast現(xiàn)象，通過(guò)修改m inRTO的值來(lái)提高網(wǎng)絡(luò)傳輸質(zhì)量，提高帶寬利用率。第二種解決方案是通過(guò)將數(shù)據(jù)交錯(cuò)分組傳輸來(lái)避免發(fā)生Incast現(xiàn)象。將原先并發(fā)傳輸?shù)臄?shù)據(jù)交錯(cuò)開來(lái)實(shí)現(xiàn)數(shù)據(jù)類串行傳輸，避免發(fā)生TCP Inc