大數(shù)據(jù)環(huán)境下農(nóng)業(yè)信息資源的存取研究.pdf

1、隨著我國農(nóng)業(yè)的迅速發(fā)展，農(nóng)業(yè)研究領(lǐng)域積累了大量的數(shù)據(jù)，如何高效存儲(chǔ)、處理及最大限度利用現(xiàn)有農(nóng)業(yè)數(shù)據(jù)，成為當(dāng)今時(shí)代面臨的重要課題。另外，Hadoop已經(jīng)在大數(shù)據(jù)領(lǐng)域廣泛使用，并被應(yīng)用于多種領(lǐng)域。因此，本文結(jié)合農(nóng)業(yè)數(shù)據(jù)及Hadoop平臺(tái)的特征，提出將該平臺(tái)應(yīng)用于農(nóng)業(yè)領(lǐng)域，在該平臺(tái)上存儲(chǔ)及處理現(xiàn)有農(nóng)業(yè)信息資源數(shù)據(jù)。本文主要研究內(nèi)容如下：
　　(1)農(nóng)業(yè)大數(shù)據(jù)的分析。本文中分析了當(dāng)前國內(nèi)外農(nóng)業(yè)數(shù)據(jù)的組織與管理現(xiàn)狀，總結(jié)概括了我國農(nóng)業(yè)大數(shù)據(jù)

2、的特征和存儲(chǔ)現(xiàn)狀。
　　(2)農(nóng)業(yè)大數(shù)據(jù)存儲(chǔ)與索引結(jié)構(gòu)的設(shè)計(jì)。根據(jù)我國農(nóng)業(yè)大數(shù)據(jù)的特征，設(shè)計(jì)了一種基于不同類型農(nóng)業(yè)數(shù)據(jù)特征的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)并對(duì)不同類型的數(shù)據(jù)設(shè)計(jì)了相應(yīng)的數(shù)據(jù)緩存策略。為了有效提高對(duì)數(shù)據(jù)的查詢、處理效率，對(duì)數(shù)據(jù)的索引機(jī)制進(jìn)行了改進(jìn)，提出了一種二級(jí)索引機(jī)制，優(yōu)化了數(shù)據(jù)存儲(chǔ)空間到數(shù)據(jù)分區(qū)、數(shù)據(jù)分區(qū)到真正數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)索引方式，為對(duì)當(dāng)前多種不同結(jié)構(gòu)的農(nóng)業(yè)數(shù)據(jù)的管理提供了一個(gè)統(tǒng)一的數(shù)據(jù)存儲(chǔ)平臺(tái)。
　　(3)k-Nea

3、rest Neighbor查詢算法的區(qū)域劃分方法的改進(jìn)及該算法的并行化設(shè)計(jì)。為了實(shí)現(xiàn)對(duì)已存儲(chǔ)在上述數(shù)據(jù)庫中的農(nóng)業(yè)數(shù)據(jù)進(jìn)行高效查詢，對(duì)廣泛使用的k-Nearest Neighbor查詢算法中的區(qū)域劃分方法進(jìn)行了改進(jìn)，不再采用以往的規(guī)則區(qū)域劃分方法，提出了一種基于不規(guī)則區(qū)域劃分方法的k-Nearest Neighbor查詢算法，并根據(jù)大數(shù)據(jù)處理框架MapReduce的運(yùn)行機(jī)制對(duì)其進(jìn)行了并行化處理，然后將該優(yōu)化后的算法應(yīng)用在MapReduce