一種優(yōu)化HDFS小寫文件存儲(chǔ)策略研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)數(shù)據(jù)迅猛增長(zhǎng),在大數(shù)據(jù)時(shí)代存儲(chǔ)和處理這些海量數(shù)據(jù)成為最大的挑戰(zhàn)之一,各種各樣的云存儲(chǔ)系統(tǒng)開始涌現(xiàn),國(guó)內(nèi)外公司都投入到各自云存儲(chǔ)系統(tǒng)研究和開發(fā)中。HDFS是Google GFS開源實(shí)現(xiàn)的分布式文件系統(tǒng),專門用于存儲(chǔ)海量大數(shù)據(jù),具有高可靠性、高可用性、高伸縮性等特點(diǎn)。HDFS集群采用主從架構(gòu),一個(gè)中心節(jié)點(diǎn)用于保存文件系統(tǒng)的元數(shù)據(jù),許多個(gè)數(shù)據(jù)節(jié)點(diǎn)用來(lái)存放實(shí)際的數(shù)據(jù)。大文件被分割多個(gè)塊,被存放在數(shù)據(jù)節(jié)點(diǎn)中,分布在不同數(shù)據(jù)節(jié)點(diǎn)上。當(dāng)HD

2、FS應(yīng)用于含有大量的小文件場(chǎng)景中,會(huì)造成中心節(jié)點(diǎn)內(nèi)存急劇消耗,限制HDFS集群容量,同時(shí)造成中心節(jié)點(diǎn)洪泛查詢的壓力。
　　論文研究了HDFS自帶的小寫文件存儲(chǔ)的解決方案,它們采用遠(yuǎn)端合并壓縮的方法,但是由于存在多級(jí)索引過(guò)程,導(dǎo)致讀寫性能低下。針對(duì)HDFS自帶方案的不足,提出了一種客戶端小寫文件合并策略。該方案將小文件在客戶端緩存合并成一個(gè)大文件,同時(shí)小文件在大文件的偏移信息寫入大文件的開頭部分,然后作為一個(gè)文件塊存入數(shù)據(jù)節(jié)點(diǎn);在數(shù)