面向農(nóng)業(yè)物聯(lián)網(wǎng)異構(gòu)數(shù)據(jù)存儲方法研究.pdf

1、隨著農(nóng)業(yè)物聯(lián)網(wǎng)應(yīng)用的不斷推廣，其系統(tǒng)的規(guī)模也不斷擴展，對數(shù)據(jù)存儲系統(tǒng)的要求也越來越高。首先，隨著人們對農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)要求的提高，更多的農(nóng)業(yè)生產(chǎn)對象將接入到物聯(lián)網(wǎng)系統(tǒng)，農(nóng)業(yè)物聯(lián)網(wǎng)的數(shù)據(jù)規(guī)模不斷增大，越來越需要分布式集群來存儲日益增多的海量數(shù)據(jù)；其次，由于農(nóng)業(yè)物聯(lián)網(wǎng)接入的傳感器類型繁多，采集的數(shù)據(jù)種類也越來越多并不斷變化，不僅有各種數(shù)值類型結(jié)構(gòu)化數(shù)據(jù)，也包含了大量文檔數(shù)據(jù)、圖像、以及視頻等非結(jié)構(gòu)化數(shù)據(jù)，這導(dǎo)致農(nóng)業(yè)物聯(lián)網(wǎng)的部分數(shù)據(jù)越來越多地出

2、現(xiàn)非結(jié)構(gòu)趨勢。這種非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)并存的現(xiàn)象對農(nóng)業(yè)物聯(lián)網(wǎng)的存儲系統(tǒng)提出了更高的要求。
　　為了解決農(nóng)業(yè)物聯(lián)網(wǎng)海量化和異構(gòu)化數(shù)據(jù)高效讀寫的問題，本文開展了如下工作：
　　（1）針對農(nóng)業(yè)物聯(lián)網(wǎng)不同類別、不同數(shù)據(jù)塊大小等等數(shù)據(jù)特征，分別在關(guān)系型和非關(guān)系型底層存儲系統(tǒng)上進行檢索和寫入效率的實驗，并分析對比，探究了底層存儲模型和數(shù)據(jù)特征之間的內(nèi)在聯(lián)系，得出結(jié)論關(guān)系模型更適宜存儲結(jié)構(gòu)化、小數(shù)據(jù)塊數(shù)據(jù)，非關(guān)系型根據(jù)其模型的不同分別

3、適合存儲不同的非結(jié)構(gòu)化數(shù)據(jù)。
　　（2）根據(jù)（1）的實驗結(jié)論建立基于數(shù)據(jù)特征的統(tǒng)一存儲模型，指出統(tǒng)一存儲模型的數(shù)據(jù)規(guī)范和數(shù)據(jù)交換應(yīng)遵循的要點，將一切類型的數(shù)據(jù)視為具有統(tǒng)一格式的數(shù)據(jù)對象，并根據(jù)一定的規(guī)則與底層存儲系統(tǒng)進行信息交換。
　?。?）基于統(tǒng)一數(shù)據(jù)模型建立了異構(gòu)數(shù)據(jù)統(tǒng)一存儲平臺HDIP。通過建立異構(gòu)數(shù)據(jù)統(tǒng)一存儲平臺，解決了用戶海量數(shù)據(jù)的高效存儲問題，統(tǒng)一的操作接口簡化了用戶的數(shù)據(jù)模型，建立了統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)，實現(xiàn)了用戶數(shù)

4、據(jù)的統(tǒng)一存儲與檢索；通過元數(shù)據(jù)映射機制，解決了統(tǒng)一數(shù)據(jù)對象和底層存儲系統(tǒng)之間的映射；通過類型的映射解決異構(gòu)數(shù)據(jù)存儲模型之間的類型匹配。
　　（4）本文基于HDIP架構(gòu)設(shè)計，采用MongoDB、MySQL、Hbase作為底層數(shù)據(jù)存儲系統(tǒng)，構(gòu)建了面向農(nóng)業(yè)物聯(lián)網(wǎng)應(yīng)用系統(tǒng)原型--小麥農(nóng)情監(jiān)測數(shù)據(jù)存儲系統(tǒng)原型。
　　本文通過建立統(tǒng)一數(shù)據(jù)模型，為異構(gòu)數(shù)據(jù)存儲提供了解決方案；通過構(gòu)建面向農(nóng)業(yè)物聯(lián)網(wǎng)的應(yīng)用系統(tǒng)原型，驗證異構(gòu)數(shù)據(jù)統(tǒng)一存儲平臺的