基于HDFS的海量遙感影像存儲冗余機(jī)制的研究.pdf

1、海量遙感影像數(shù)據(jù)存儲基本上采用的都是分布式存儲方式。特別是在高分辨率數(shù)據(jù)存儲系統(tǒng)中,為了保證數(shù)據(jù)的安全性、完備性和高可用性,需要提供一定的數(shù)據(jù)冗余技術(shù)。
　　目前,傳統(tǒng)的分布式文件存儲系統(tǒng)中采用的數(shù)據(jù)冗余技術(shù)有三種:完全副本技術(shù)、磁盤陣列技術(shù)和糾刪碼編碼冗余技術(shù),完全副本和磁盤陣列這兩種技術(shù)在提高系統(tǒng)冗余性的同時都會增加對系統(tǒng)存儲空間的需求,糾刪碼編碼冗余技術(shù)雖然能彌補(bǔ)存儲空間過度消耗的缺陷,但同時也會增加系統(tǒng)I/O負(fù)擔(dān)。針對上面

2、三種方法的缺陷,本文采用完全復(fù)制技術(shù)和糾刪碼編碼冗余技術(shù)相結(jié)合的方法來解決。在開源 HDFS( Hadoop Distributed File System)的基礎(chǔ)上,本文將改進(jìn)后的冗余機(jī)制替代HDFS原有的冗余機(jī)制來解決系統(tǒng)中存儲空間與系統(tǒng)I/O負(fù)擔(dān)之間的沖突問題,使整個系統(tǒng)在提高冗余性的同時能夠保證系統(tǒng)I/O速度,并且可以極大地降低系統(tǒng)對存儲空間的需求。本文重點(diǎn)研究了適合高分辨率遙感影像的數(shù)據(jù)冗余機(jī)制,提出了一種改進(jìn)的冗余策略。主要

3、工作與貢獻(xiàn)如下。
　　1.在研究海量遙感影像數(shù)據(jù)存儲管理技術(shù)與數(shù)據(jù)冗余機(jī)制的基礎(chǔ)上,主要研究了HDFS分布式文件系統(tǒng)及其冗余機(jī)制,重點(diǎn)分析了適合海量遙感影像存儲的復(fù)制冗余技術(shù)和糾刪碼編碼冗余技術(shù)。
　　2.在復(fù)制冗余機(jī)制和糾刪碼編碼冗余機(jī)制的基礎(chǔ)上,提出了“復(fù)制+編碼”的改進(jìn)的HDFS冗余策略方法,并給出了文件的讀寫流程方案以及編碼后系統(tǒng)中產(chǎn)生的編碼塊的管理方案。
　　3.對改進(jìn)的HDFS系統(tǒng)進(jìn)行了實(shí)驗(yàn),驗(yàn)證了所提出的