農(nóng)貿(mào)市場(chǎng)大數(shù)據(jù)商業(yè)智能系統(tǒng)開(kāi)發(fā).pdf

1、農(nóng)貿(mào)市場(chǎng)留給民眾的印象基本上可以概括為“臟”、“亂”、“差”。最近幾年，有一些發(fā)展較快的城市提出了“農(nóng)貿(mào)市場(chǎng)改造升級(jí)”、“農(nóng)貿(mào)市場(chǎng)超市化”等方案但是由于成本太高而無(wú)法在全國(guó)普遍推廣，而且這種轉(zhuǎn)變方式也僅僅是在硬件方面。其實(shí)，隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，可以將大數(shù)據(jù)技術(shù)、商業(yè)智能技術(shù)，物聯(lián)網(wǎng)技術(shù)等應(yīng)用到農(nóng)貿(mào)市場(chǎng)的改造上。比如利用基于物聯(lián)網(wǎng)技術(shù)的電子貨架標(biāo)簽系統(tǒng)(Electric ShelfLabel System，ESLs)，可以將農(nóng)貿(mào)市場(chǎng)內(nèi)的

2、商品價(jià)格統(tǒng)一管理，可以大大降低甚至避免民眾遭遇價(jià)格欺詐。這樣做還可以將價(jià)格數(shù)據(jù)、民眾的購(gòu)買(mǎi)行為等數(shù)據(jù)通過(guò)互聯(lián)網(wǎng)上傳到統(tǒng)一的數(shù)據(jù)服務(wù)器上，利用商業(yè)智能技術(shù)對(duì)數(shù)據(jù)進(jìn)行分析。
　　本文設(shè)計(jì)了一個(gè)農(nóng)貿(mào)市場(chǎng)大數(shù)據(jù)商業(yè)智能系統(tǒng)原型，系統(tǒng)分為數(shù)據(jù)來(lái)源層，數(shù)據(jù)的抽取(Extract)、轉(zhuǎn)換(Transform)和加載(Load)(Extract-Transform-Load，ETL)層，大數(shù)據(jù)存儲(chǔ)層，數(shù)據(jù)分析層和結(jié)果展現(xiàn)層五個(gè)層次。數(shù)據(jù)來(lái)源層分為

3、兩部分，一部分采用佛山市廣華合志科技有限公司研發(fā)的ESLs來(lái)實(shí)現(xiàn)商品價(jià)格的管理;另一部分是農(nóng)貿(mào)市場(chǎng)的管理系統(tǒng)，從管理系統(tǒng)中收集銷(xiāo)售數(shù)據(jù)。數(shù)據(jù)ETL層使用Pentaho Kettle引擎來(lái)實(shí)現(xiàn)，定義了一個(gè)完整的ETL作業(yè)可以從數(shù)據(jù)來(lái)源層抽取數(shù)據(jù)。大數(shù)據(jù)存儲(chǔ)層使用MySQL Cluster數(shù)據(jù)庫(kù)集群技術(shù)來(lái)實(shí)現(xiàn)，本課題實(shí)現(xiàn)了一個(gè)四個(gè)數(shù)據(jù)節(jié)點(diǎn)、兩個(gè)SQL節(jié)點(diǎn)和兩個(gè)Manager節(jié)點(diǎn)的數(shù)據(jù)庫(kù)集群的原型。數(shù)據(jù)分析層由三部分組成，第一部分通過(guò)使用開(kāi)源

4、的關(guān)系型聯(lián)機(jī)分析處理(RelationalOn-Line Analytical Processing，ROLAP)引擎Mondrian來(lái)完成聯(lián)機(jī)分析處理On-LineAnalytical Processing，OLAP)的功能;第二部分使用JasperReports報(bào)表引擎來(lái)實(shí)現(xiàn)報(bào)表功能，第三部分使用R語(yǔ)言來(lái)實(shí)現(xiàn)商品關(guān)聯(lián)分析的算法，還可以在R環(huán)境中根據(jù)需要來(lái)實(shí)現(xiàn)其他的分析。結(jié)果展現(xiàn)層，通過(guò)HTML頁(yè)面、報(bào)表、圖表三種方式來(lái)對(duì)最終的結(jié)果進(jìn)

5、行展現(xiàn)。
　　本文首先介紹了當(dāng)前我國(guó)農(nóng)貿(mào)市場(chǎng)所面臨的問(wèn)題以及國(guó)內(nèi)外農(nóng)貿(mào)市場(chǎng)的現(xiàn)狀。第二部分介紹了大數(shù)據(jù)、商業(yè)智能等相關(guān)概念和電子貨架標(biāo)簽系統(tǒng)。第三部分介紹了數(shù)據(jù)庫(kù)設(shè)計(jì)和大數(shù)據(jù)存儲(chǔ)與分析的方案，第四部分說(shuō)明大數(shù)據(jù)商業(yè)智能系統(tǒng)原型的設(shè)計(jì)方案并演示了系統(tǒng)的部分功能。根據(jù)測(cè)試，本系統(tǒng)原型可以比較穩(wěn)定的運(yùn)行，能夠滿(mǎn)足處理較大規(guī)模數(shù)據(jù)的存儲(chǔ)與分析需求，可以在本課題的基礎(chǔ)上繼續(xù)擴(kuò)展商業(yè)智能功能。通過(guò)應(yīng)用本系統(tǒng)將會(huì)帶來(lái)較大的社會(huì)效益和經(jīng)濟(jì)效益。從