分布式存儲(chǔ)系統(tǒng)中并行下載相關(guān)技術(shù)研究.pdf

1、當(dāng)前，隨著信息化進(jìn)程的不斷推進(jìn)，需要存儲(chǔ)的各種數(shù)據(jù)量也不斷增加。。數(shù)據(jù)量的急劇增加給存儲(chǔ)系統(tǒng)的設(shè)計(jì)帶來(lái)了巨大挑戰(zhàn)。以往基于Client/Server的單點(diǎn)集中存儲(chǔ)已經(jīng)不能滿足當(dāng)前的存儲(chǔ)需求，與其對(duì)應(yīng)的分布式存儲(chǔ)異軍突起。在分布式存儲(chǔ)中，數(shù)據(jù)經(jīng)常是被多副本存儲(chǔ)，即一份數(shù)據(jù)存儲(chǔ)多份，目的是提高系統(tǒng)的數(shù)據(jù)可靠性和可用性。
　　 針對(duì)多個(gè)數(shù)據(jù)的副本，如何快速的從存儲(chǔ)系統(tǒng)中得到所需的數(shù)據(jù)，已經(jīng)成為學(xué)術(shù)界的研究重點(diǎn)。目前主要可以采用兩種方式

2、快速獲得所需要的數(shù)據(jù)，一種是采用某種服務(wù)器選擇算法，選擇最優(yōu)的服務(wù)器進(jìn)行數(shù)據(jù)的下載。另一種是采用多節(jié)點(diǎn)協(xié)作的并行下載技術(shù)。由于多節(jié)點(diǎn)協(xié)作的并行下載技術(shù)可以充分利用服務(wù)器的帶寬，避免復(fù)雜的服務(wù)器選擇算法，在存儲(chǔ)系統(tǒng)中采用該方法具有明顯的優(yōu)勢(shì)。本文就存儲(chǔ)系統(tǒng)中采用多節(jié)點(diǎn)協(xié)作并行下載的相關(guān)技術(shù)進(jìn)行了研究。本文的主要工作和貢獻(xiàn)可歸納為以下幾點(diǎn)：
　　 1.分析了分布式存儲(chǔ)架構(gòu)，對(duì)863項(xiàng)目(新一代業(yè)務(wù)運(yùn)行管控協(xié)同支撐環(huán)境的開(kāi)發(fā))中采用的

3、存儲(chǔ)架構(gòu)和相關(guān)技術(shù)進(jìn)行了研究，分析了在系統(tǒng)中采用并行下載的相關(guān)背景。
　　 2.分析研究了網(wǎng)絡(luò)帶寬和延時(shí)測(cè)量的機(jī)制，并采用網(wǎng)絡(luò)測(cè)量工具分析了延時(shí)、丟包等參數(shù)對(duì)帶寬的影響，而且采用NS2仿真的方式分析研究了TCP流量控制和擁塞控制對(duì)帶寬的影響。
　　 3.分析了常見(jiàn)并行套接字的機(jī)制，其中重點(diǎn)分析了流控制傳輸協(xié)議(SCTP)的多流和多宿主機(jī)制，并利用SCTP的多流機(jī)制提出一種改進(jìn)的FTP的下載方式，并與基于TCP的FTP進(jìn)行

4、了對(duì)比，下載文件時(shí)間明顯縮短。另外針對(duì)并行套接字庫(kù)Psock采用linux系統(tǒng)調(diào)用poll存在的問(wèn)題，實(shí)驗(yàn)分析表明采用epoll代替poll的具有明顯的性能優(yōu)勢(shì)。
　　 4.提出一種基于帶寬測(cè)量的多節(jié)點(diǎn)協(xié)作并行下載機(jī)制，主要是對(duì)文件分塊下載時(shí)的最后一塊采用動(dòng)態(tài)調(diào)整的方式，這樣可以讓多個(gè)并行下載流盡可能的同時(shí)結(jié)束，加快下載速度。另外為了減少服務(wù)器端對(duì)硬盤的讀取，將服務(wù)器端緩存加入到了并行下載技術(shù)中，實(shí)驗(yàn)表明此方法加快了下載速度。