Hadoop數(shù)據(jù)中心網(wǎng)絡(luò)TCP Incast問題的研究.pdf

1、信息化年代，網(wǎng)絡(luò)資源日益龐大，用戶請求信息數(shù)據(jù)量伴隨著互聯(lián)網(wǎng)的發(fā)展而不斷增加。由于集群存儲系統(tǒng)有諸多優(yōu)勢，所以集群存儲系統(tǒng)已被廣泛應(yīng)用于數(shù)據(jù)中心中。集群存儲系統(tǒng)中，數(shù)據(jù)塊以條狀方式分散存儲在多個不同的服務(wù)器中，當(dāng)并發(fā)訪問的用戶過多、響應(yīng)服務(wù)器數(shù)量不斷增大、多個發(fā)送方同步將數(shù)據(jù)并發(fā)傳輸給一個接收方，當(dāng)這些并發(fā)傳輸?shù)臄?shù)據(jù)量足夠超過以太網(wǎng)交換機(jī)緩沖區(qū)大小時，就會在高帶寬低延遲的環(huán)境中發(fā)生Incast問題。
　　對Hadoop集群的構(gòu)造、

2、運行機(jī)制以及存在于Hadoop集群中的網(wǎng)絡(luò)塌陷行為進(jìn)行了深入研究探討。結(jié)合Hadoop集群運行環(huán)境和在集群中發(fā)生的Incast問題，對Hadoop集群中發(fā)生的Incast問題提出兩種解決方案。第一種是提出優(yōu)化TCP超時來改善Incast現(xiàn)象，通過修改m inRTO的值來提高網(wǎng)絡(luò)傳輸質(zhì)量，提高帶寬利用率。第二種解決方案是通過將數(shù)據(jù)交錯分組傳輸來避免發(fā)生Incast現(xiàn)象。將原先并發(fā)傳輸?shù)臄?shù)據(jù)交錯開來實現(xiàn)數(shù)據(jù)類串行傳輸，避免發(fā)生TCP Inc