面向高速網(wǎng)絡(luò)傳輸?shù)姆植际较到y(tǒng)讀操作優(yōu)化方法研究.pdf

1、在海量數(shù)據(jù)存儲(chǔ)與大數(shù)據(jù)處理中，普遍采用了基于 HDFS(Hadoop Distributed File System，Hadoop分布式文件系統(tǒng))架構(gòu)的集群來存儲(chǔ)數(shù)據(jù)。為支持大數(shù)據(jù)分析在海量數(shù)據(jù)上進(jìn)行實(shí)時(shí)查詢和秒級響應(yīng)的需求，數(shù)據(jù)中心內(nèi)部普遍使用高速網(wǎng)絡(luò)，但是，現(xiàn)有的基于 HDFS架構(gòu)的分布式文件系統(tǒng)的讀性能并不能夠隨著網(wǎng)絡(luò)速度的增加而線性增長?，F(xiàn)有的分布式文件系統(tǒng)在高速網(wǎng)絡(luò)環(huán)境下，由于受制于磁盤I/O速度，讀操作吞吐量性能不高，不能充

2、分利用高速網(wǎng)絡(luò)資源，為上層應(yīng)用提供高效的數(shù)據(jù)服務(wù)。
　　針對以上問題，提出一種節(jié)約內(nèi)存的緩存管理機(jī)制MSBM（Memory Saving Buffer Manager）。MSBM緩存管理機(jī)制在數(shù)據(jù)服務(wù)器端對數(shù)據(jù)做緩存，保證客戶端下一次到數(shù)據(jù)服務(wù)器端讀取數(shù)據(jù)時(shí)，需要的數(shù)據(jù)已經(jīng)在緩存中。MSBM緩存管理機(jī)制在數(shù)據(jù)服務(wù)器端設(shè)計(jì)了僅預(yù)取一個(gè)數(shù)據(jù)塊的緩存預(yù)取策略，從而在使用緩存提高讀性能的同時(shí)，盡量節(jié)省內(nèi)存使用率，使緩存管理機(jī)制適用于運(yùn)行在

3、數(shù)量龐大而又廉價(jià)的分布式集群上。三個(gè)緩存管理隊(duì)列被用以管理數(shù)據(jù)塊在緩存中的置入與置出，并提供讀取數(shù)據(jù)的服務(wù)。此外，還有相應(yīng)的負(fù)載決策被提出以使緩存策略達(dá)到最優(yōu)效果，從而使分布式文件系統(tǒng)在高速網(wǎng)絡(luò)環(huán)境下，能夠?qū)Ａ看笪募?shí)現(xiàn)高效的緩存管理，充分利用InfiniBand網(wǎng)絡(luò)，提升整個(gè)分布式文件系統(tǒng)的讀數(shù)據(jù)的性能。
　　通過分別對有無MSBM緩存管理機(jī)制，以及在千兆以太網(wǎng)和InfiniBand網(wǎng)絡(luò)上進(jìn)行測試對比，MSBM緩存管理機(jī)制對于