一種優(yōu)化HDFS小寫文件存儲策略研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)數(shù)據(jù)迅猛增長,在大數(shù)據(jù)時代存儲和處理這些海量數(shù)據(jù)成為最大的挑戰(zhàn)之一,各種各樣的云存儲系統(tǒng)開始涌現(xiàn),國內(nèi)外公司都投入到各自云存儲系統(tǒng)研究和開發(fā)中。HDFS是Google GFS開源實現(xiàn)的分布式文件系統(tǒng),專門用于存儲海量大數(shù)據(jù),具有高可靠性、高可用性、高伸縮性等特點。HDFS集群采用主從架構(gòu),一個中心節(jié)點用于保存文件系統(tǒng)的元數(shù)據(jù),許多個數(shù)據(jù)節(jié)點用來存放實際的數(shù)據(jù)。大文件被分割多個塊,被存放在數(shù)據(jù)節(jié)點中,分布在不同數(shù)據(jù)節(jié)點上。當HD

2、FS應用于含有大量的小文件場景中,會造成中心節(jié)點內(nèi)存急劇消耗,限制HDFS集群容量,同時造成中心節(jié)點洪泛查詢的壓力。
　　論文研究了HDFS自帶的小寫文件存儲的解決方案,它們采用遠端合并壓縮的方法,但是由于存在多級索引過程,導致讀寫性能低下。針對HDFS自帶方案的不足,提出了一種客戶端小寫文件合并策略。該方案將小文件在客戶端緩存合并成一個大文件,同時小文件在大文件的偏移信息寫入大文件的開頭部分,然后作為一個文件塊存入數(shù)據(jù)節(jié)點;在數(shù)