分布式存儲系統(tǒng)中并行下載相關(guān)技術(shù)研究.pdf

1、當(dāng)前，隨著信息化進程的不斷推進，需要存儲的各種數(shù)據(jù)量也不斷增加。。數(shù)據(jù)量的急劇增加給存儲系統(tǒng)的設(shè)計帶來了巨大挑戰(zhàn)。以往基于Client/Server的單點集中存儲已經(jīng)不能滿足當(dāng)前的存儲需求，與其對應(yīng)的分布式存儲異軍突起。在分布式存儲中，數(shù)據(jù)經(jīng)常是被多副本存儲，即一份數(shù)據(jù)存儲多份，目的是提高系統(tǒng)的數(shù)據(jù)可靠性和可用性。
　　 針對多個數(shù)據(jù)的副本，如何快速的從存儲系統(tǒng)中得到所需的數(shù)據(jù)，已經(jīng)成為學(xué)術(shù)界的研究重點。目前主要可以采用兩種方式

2、快速獲得所需要的數(shù)據(jù)，一種是采用某種服務(wù)器選擇算法，選擇最優(yōu)的服務(wù)器進行數(shù)據(jù)的下載。另一種是采用多節(jié)點協(xié)作的并行下載技術(shù)。由于多節(jié)點協(xié)作的并行下載技術(shù)可以充分利用服務(wù)器的帶寬，避免復(fù)雜的服務(wù)器選擇算法，在存儲系統(tǒng)中采用該方法具有明顯的優(yōu)勢。本文就存儲系統(tǒng)中采用多節(jié)點協(xié)作并行下載的相關(guān)技術(shù)進行了研究。本文的主要工作和貢獻可歸納為以下幾點：
　　 1.分析了分布式存儲架構(gòu)，對863項目(新一代業(yè)務(wù)運行管控協(xié)同支撐環(huán)境的開發(fā))中采用的

3、存儲架構(gòu)和相關(guān)技術(shù)進行了研究，分析了在系統(tǒng)中采用并行下載的相關(guān)背景。
　　 2.分析研究了網(wǎng)絡(luò)帶寬和延時測量的機制，并采用網(wǎng)絡(luò)測量工具分析了延時、丟包等參數(shù)對帶寬的影響，而且采用NS2仿真的方式分析研究了TCP流量控制和擁塞控制對帶寬的影響。
　　 3.分析了常見并行套接字的機制，其中重點分析了流控制傳輸協(xié)議(SCTP)的多流和多宿主機制，并利用SCTP的多流機制提出一種改進的FTP的下載方式，并與基于TCP的FTP進行

4、了對比，下載文件時間明顯縮短。另外針對并行套接字庫Psock采用linux系統(tǒng)調(diào)用poll存在的問題，實驗分析表明采用epoll代替poll的具有明顯的性能優(yōu)勢。
　　 4.提出一種基于帶寬測量的多節(jié)點協(xié)作并行下載機制，主要是對文件分塊下載時的最后一塊采用動態(tài)調(diào)整的方式，這樣可以讓多個并行下載流盡可能的同時結(jié)束，加快下載速度。另外為了減少服務(wù)器端對硬盤的讀取，將服務(wù)器端緩存加入到了并行下載技術(shù)中，實驗表明此方法加快了下載速度。