大數(shù)據(jù)環(huán)境下農(nóng)業(yè)數(shù)字資源存儲與分析技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的廣泛普及與飛速發(fā)展，整個社會各種類型的數(shù)據(jù)總量飛速增長，我們正在步入大數(shù)據(jù)時代。在大數(shù)據(jù)時代數(shù)字圖書館面臨著兩個關(guān)鍵性問題：海量數(shù)字資源的高速檢索和數(shù)字資源的深度挖掘與分析。傳統(tǒng)的基于關(guān)系型數(shù)據(jù)庫的技術(shù)體系在面對海量數(shù)據(jù)的檢索和應(yīng)用在性能上要面臨著很大的挑戰(zhàn)，所以為了更好地整合存儲各類數(shù)字資源，提高海量數(shù)字資源的應(yīng)用水平，提供專業(yè)化水平更高知識服務(wù)，數(shù)字圖書館應(yīng)創(chuàng)新技術(shù)體系，適時引入大數(shù)據(jù)技術(shù)以此作為工作的新入口。

2、>　　本文以國家農(nóng)業(yè)圖書館館藏數(shù)據(jù)資源為對象，分析了國家農(nóng)業(yè)圖書館現(xiàn)有資源的總體情況以及目前國家農(nóng)業(yè)圖書館所使用的技術(shù)體系面臨的問題，對比當(dāng)今流行的大數(shù)據(jù)技術(shù)在性能和功能上的優(yōu)勢，提出了一種基于大數(shù)據(jù)技術(shù)的新型數(shù)字圖書館數(shù)字資源存儲與應(yīng)用的技術(shù)框架。此框架整合了 HDFS、Hbase與 Spark大數(shù)據(jù)存儲與處理技術(shù)。隨后在本研究設(shè)計的技術(shù)框架的基礎(chǔ)上搭建了具有三個節(jié)點的實驗集群，初步構(gòu)建了大數(shù)據(jù)技術(shù)平臺。
　　論文后半部分論述了

3、基于Hbase的大數(shù)據(jù)存儲體系與基于Spark的大數(shù)據(jù)分析體系的優(yōu)勢，通過實例化的方式實現(xiàn)了基于Hbase的農(nóng)產(chǎn)品貿(mào)易數(shù)據(jù)的存儲與挖掘分析，借此方式對這種新型技術(shù)體系進行技術(shù)可行性分析與功能探索。本研究所使用的農(nóng)產(chǎn)品貿(mào)易數(shù)據(jù)在數(shù)據(jù)存儲層采用Hbase進行數(shù)據(jù)組織并通過HDFS實現(xiàn)數(shù)據(jù)的分布式存儲，并通過實驗對比分析基于大數(shù)據(jù)技術(shù)體系的農(nóng)產(chǎn)品貿(mào)易數(shù)據(jù)庫在性能上和關(guān)系型數(shù)據(jù)庫優(yōu)劣，實驗結(jié)果證明采用論文提出的新型基于大數(shù)據(jù)技術(shù)的技術(shù)體系在數(shù)據(jù)