一種基于MongoDB和HDFS的大規(guī)模遙感數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、遙感數(shù)據(jù)有多標(biāo)準(zhǔn)、多類(lèi)型、多尺度、多級(jí)別、海量以及分布式存儲(chǔ)的特征。隨著遙感技術(shù)和信息處理技術(shù)的不斷進(jìn)步，不同類(lèi)型、不同級(jí)別的遙感數(shù)據(jù)不斷涌現(xiàn)，社會(huì)各領(lǐng)域?qū)b感觀測(cè)數(shù)據(jù)的需求越來(lái)越大，我國(guó)各部門(mén)和科研機(jī)構(gòu)都建立了針對(duì)各行業(yè)不同資源類(lèi)型、彼此異構(gòu)的遙感影像庫(kù)，形成了一個(gè)分布式的、異構(gòu)的、跨部門(mén)的、跨地域、資源類(lèi)型多樣的遙感數(shù)據(jù)庫(kù)群，大大制約了各部門(mén)間遙感數(shù)據(jù)的共享和應(yīng)用。為了滿(mǎn)足對(duì)遙感數(shù)據(jù)的管理及共享需求，我們實(shí)現(xiàn)了一個(gè)基于MongoDB

2、和HDFS的大規(guī)模遙感數(shù)據(jù)存儲(chǔ)系統(tǒng)，本文介紹了系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)，并重點(diǎn)介紹了異構(gòu)遙感元數(shù)據(jù)集成以及海量遙感數(shù)據(jù)高效存儲(chǔ)兩項(xiàng)關(guān)鍵技術(shù)。
　　 針對(duì)遙感元數(shù)據(jù)多源、異構(gòu)、海量等特點(diǎn)本文提出了一種基于映射模板的異構(gòu)遙感元數(shù)據(jù)集成方法，可以實(shí)現(xiàn)異構(gòu)遙感元數(shù)據(jù)的格式化統(tǒng)一及高效存儲(chǔ)。并具有支持元數(shù)據(jù)動(dòng)態(tài)擴(kuò)展的能力，可以解析不斷涌現(xiàn)的新類(lèi)型新格式遙感元數(shù)據(jù)，解決了以往的元數(shù)據(jù)管理系統(tǒng)擴(kuò)展性兼容性差且不利于數(shù)據(jù)共享的問(wèn)題。
　　

3、遙感元數(shù)據(jù)特點(diǎn)是異構(gòu)、只讀、小文件、海量。而遙感影像數(shù)據(jù)不但具有只讀、海量的特點(diǎn)，而且單個(gè)遙感影像數(shù)據(jù)文多為GB數(shù)量級(jí)的大文件，而且多為冷數(shù)據(jù)訪問(wèn)頻次少。系統(tǒng)的存儲(chǔ)層通過(guò)采用遙感元數(shù)據(jù)和遙感影像數(shù)據(jù)分離存放的策略，并針對(duì)兩種數(shù)據(jù)的特點(diǎn)進(jìn)行了優(yōu)化。針對(duì)遙感元數(shù)據(jù)采用了基于MongoDB的存儲(chǔ)架構(gòu)，系統(tǒng)不但能夠提供高效的數(shù)據(jù)存儲(chǔ)，而且具有高可靠性、高擴(kuò)展性的特點(diǎn)。針對(duì)遙感影像數(shù)據(jù)系統(tǒng)采用基于HDFS的分布式文件存儲(chǔ)架構(gòu)，而且為了提高存儲(chǔ)資源