數(shù)字博物館海量數(shù)據(jù)的分布式存儲關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、數(shù)據(jù)存儲系統(tǒng)是數(shù)字博物館體系架構(gòu)的核心部分。在當(dāng)前數(shù)字博物館資源快速增長的環(huán)境下，數(shù)字博物館海量資源對數(shù)據(jù)存儲和管理系統(tǒng)提出了新的挑戰(zhàn)。本文針對當(dāng)前數(shù)字博物館海量數(shù)據(jù)存儲和管理方法存在的若干問題，豐要研究了數(shù)字博物館海量多媒體小文件的存儲和多尺度空間數(shù)據(jù)的管理技術(shù)，分別提出了基于HDFS的小文件合并策略和基于HBase的海量文物空間數(shù)據(jù)的管理技術(shù)。取得的主要成果如下:
　　 一、根據(jù)數(shù)字博物館包含大量多媒體小文件資源的特點(diǎn)，提出

2、了一種基于HDFS的海量多媒體小文件合并存儲策略，其基本思想是將大量的小文件合并成大的聚簇文件后，一起保存到HDFS中，該策略相比于原始的HDFS，有效地減少了大量小文件對主節(jié)點(diǎn)的內(nèi)存消耗，提高了文件寫入性能，同時為聚簇文件中的小文件建立文件索引，降低了文件的讀取時間。
　　 二、研究了文物的多尺度空間數(shù)據(jù)的特點(diǎn)，提出了一種適于海量多尺度空間數(shù)據(jù)的POZ空間填充曲線及基于HBase的文物多尺度空間數(shù)據(jù)存儲模型，實(shí)現(xiàn)對海量多尺度空

3、間數(shù)據(jù)的管理和快速訪問，與傳統(tǒng)關(guān)系數(shù)據(jù)存儲方法對比，該方法在管理海量文物的多尺度空間數(shù)據(jù)方面優(yōu)秀性能。
　　 三、最后我們基于本文的研究成果，設(shè)計(jì)并部署了數(shù)字博物館海量數(shù)據(jù)的分布式存儲系統(tǒng)，系統(tǒng)的構(gòu)建采用三層體系結(jié)構(gòu)，即存儲層、組織層和數(shù)據(jù)訪問層;存儲層采用HDFS分布式文件系統(tǒng)，提供海量數(shù)據(jù)存儲能力;組織層基于HBase提供結(jié)構(gòu)化的數(shù)據(jù)組織，同時實(shí)現(xiàn)了多媒體小文件合并和文物的多尺度空間數(shù)據(jù)的管理;數(shù)據(jù)訪問層是系統(tǒng)與上層應(yīng)用的交