基于R+Hadoop中藥材大數(shù)據(jù)的分析及預(yù)測(cè).pdf

1、甘肅惠森藥業(yè)數(shù)據(jù)中心累計(jì)收集和存儲(chǔ)數(shù)據(jù)近70GB，隨著業(yè)務(wù)的深入，其數(shù)據(jù)量更是呈現(xiàn)出爆炸式的增長(zhǎng)趨勢(shì)。面對(duì)如此巨大的數(shù)據(jù)壓力，Hadoop框架雖然對(duì)海量中藥材數(shù)據(jù)的處理具有獨(dú)特的優(yōu)勢(shì)，但缺乏數(shù)據(jù)建模和數(shù)據(jù)可視化的能力。因此，本文結(jié)合 Hadoop框架和 R語(yǔ)言的優(yōu)勢(shì)，根據(jù)中藥材行情大數(shù)據(jù)的特點(diǎn)，針對(duì)中藥材市場(chǎng)品種需求變化難以掌握、價(jià)格波動(dòng)很大等現(xiàn)狀，設(shè)計(jì)并完成基于 Hadoop+R語(yǔ)言中藥材行情大數(shù)據(jù)的分析及預(yù)測(cè)，以達(dá)到對(duì)中藥材行情大數(shù)

2、據(jù)可靠處理的目的，對(duì)加快甘肅中藥材產(chǎn)業(yè)發(fā)展，抵御交易市場(chǎng)的風(fēng)險(xiǎn)有重要意義。本文主要研究?jī)?nèi)容如下：
　?。?）部署了 Hadoop集群環(huán)境、R環(huán)境和Hive集成云開發(fā)環(huán)境，提出了一種基于 R語(yǔ)言+Hadoop解決中藥材行情大數(shù)據(jù)分析及預(yù)測(cè)的方法，研究了基于 R語(yǔ)言+Hadoop+Hive環(huán)境的數(shù)據(jù)分析及可視化過(guò)程。
　?。?）對(duì)Hadoop框架的基本原理及內(nèi)部架構(gòu)進(jìn)行了深入的研究，從軟件編寫入手，通過(guò)改進(jìn)MapReduce編程

3、模型固有的讀寫方式、分片劃分以及輸入輸出格式，提高編程模型的計(jì)算性能。
　?。?）為完成中藥材行情大數(shù)據(jù)和天氣數(shù)據(jù)兩種不同格式數(shù)據(jù)源的連接，提出了一種基于 Hadoop+Hive中藥材大數(shù)據(jù)預(yù)處理的方法。
　?。?）為實(shí)現(xiàn)中藥材市場(chǎng)價(jià)格的可靠預(yù)測(cè)，使用探索性分析的方法。首先，使用多元線性模型和決策樹模型兩種回歸模型對(duì)中藥材行情大數(shù)據(jù)進(jìn)行建模；其次，為克服單一模型的局限性，使用隨機(jī)森林模型對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步的回歸分析；最后，通過(guò)