大數(shù)據(jù)環(huán)境下農(nóng)業(yè)數(shù)字資源存儲與分析技術研究.pdf

1、隨著互聯(lián)網(wǎng)技術的廣泛普及與飛速發(fā)展，整個社會各種類型的數(shù)據(jù)總量飛速增長，我們正在步入大數(shù)據(jù)時代。在大數(shù)據(jù)時代數(shù)字圖書館面臨著兩個關鍵性問題：海量數(shù)字資源的高速檢索和數(shù)字資源的深度挖掘與分析。傳統(tǒng)的基于關系型數(shù)據(jù)庫的技術體系在面對海量數(shù)據(jù)的檢索和應用在性能上要面臨著很大的挑戰(zhàn)，所以為了更好地整合存儲各類數(shù)字資源，提高海量數(shù)字資源的應用水平，提供專業(yè)化水平更高知識服務，數(shù)字圖書館應創(chuàng)新技術體系，適時引入大數(shù)據(jù)技術以此作為工作的新入口。

2、>　　本文以國家農(nóng)業(yè)圖書館館藏數(shù)據(jù)資源為對象，分析了國家農(nóng)業(yè)圖書館現(xiàn)有資源的總體情況以及目前國家農(nóng)業(yè)圖書館所使用的技術體系面臨的問題，對比當今流行的大數(shù)據(jù)技術在性能和功能上的優(yōu)勢，提出了一種基于大數(shù)據(jù)技術的新型數(shù)字圖書館數(shù)字資源存儲與應用的技術框架。此框架整合了 HDFS、Hbase與 Spark大數(shù)據(jù)存儲與處理技術。隨后在本研究設計的技術框架的基礎上搭建了具有三個節(jié)點的實驗集群，初步構建了大數(shù)據(jù)技術平臺。
　　論文后半部分論述了

3、基于Hbase的大數(shù)據(jù)存儲體系與基于Spark的大數(shù)據(jù)分析體系的優(yōu)勢，通過實例化的方式實現(xiàn)了基于Hbase的農(nóng)產(chǎn)品貿(mào)易數(shù)據(jù)的存儲與挖掘分析，借此方式對這種新型技術體系進行技術可行性分析與功能探索。本研究所使用的農(nóng)產(chǎn)品貿(mào)易數(shù)據(jù)在數(shù)據(jù)存儲層采用Hbase進行數(shù)據(jù)組織并通過HDFS實現(xiàn)數(shù)據(jù)的分布式存儲，并通過實驗對比分析基于大數(shù)據(jù)技術體系的農(nóng)產(chǎn)品貿(mào)易數(shù)據(jù)庫在性能上和關系型數(shù)據(jù)庫優(yōu)劣，實驗結果證明采用論文提出的新型基于大數(shù)據(jù)技術的技術體系在數(shù)據(jù)