農貿市場大數(shù)據(jù)商業(yè)智能系統(tǒng)開發(fā).pdf

1、農貿市場留給民眾的印象基本上可以概括為“臟”、“亂”、“差”。最近幾年，有一些發(fā)展較快的城市提出了“農貿市場改造升級”、“農貿市場超市化”等方案但是由于成本太高而無法在全國普遍推廣，而且這種轉變方式也僅僅是在硬件方面。其實，隨著互聯(lián)網技術的發(fā)展，可以將大數(shù)據(jù)技術、商業(yè)智能技術，物聯(lián)網技術等應用到農貿市場的改造上。比如利用基于物聯(lián)網技術的電子貨架標簽系統(tǒng)(Electric ShelfLabel System，ESLs)，可以將農貿市場內的

2、商品價格統(tǒng)一管理，可以大大降低甚至避免民眾遭遇價格欺詐。這樣做還可以將價格數(shù)據(jù)、民眾的購買行為等數(shù)據(jù)通過互聯(lián)網上傳到統(tǒng)一的數(shù)據(jù)服務器上，利用商業(yè)智能技術對數(shù)據(jù)進行分析。
　　本文設計了一個農貿市場大數(shù)據(jù)商業(yè)智能系統(tǒng)原型，系統(tǒng)分為數(shù)據(jù)來源層，數(shù)據(jù)的抽取(Extract)、轉換(Transform)和加載(Load)(Extract-Transform-Load，ETL)層，大數(shù)據(jù)存儲層，數(shù)據(jù)分析層和結果展現(xiàn)層五個層次。數(shù)據(jù)來源層分為

3、兩部分，一部分采用佛山市廣華合志科技有限公司研發(fā)的ESLs來實現(xiàn)商品價格的管理;另一部分是農貿市場的管理系統(tǒng)，從管理系統(tǒng)中收集銷售數(shù)據(jù)。數(shù)據(jù)ETL層使用Pentaho Kettle引擎來實現(xiàn)，定義了一個完整的ETL作業(yè)可以從數(shù)據(jù)來源層抽取數(shù)據(jù)。大數(shù)據(jù)存儲層使用MySQL Cluster數(shù)據(jù)庫集群技術來實現(xiàn)，本課題實現(xiàn)了一個四個數(shù)據(jù)節(jié)點、兩個SQL節(jié)點和兩個Manager節(jié)點的數(shù)據(jù)庫集群的原型。數(shù)據(jù)分析層由三部分組成，第一部分通過使用開源

4、的關系型聯(lián)機分析處理(RelationalOn-Line Analytical Processing，ROLAP)引擎Mondrian來完成聯(lián)機分析處理On-LineAnalytical Processing，OLAP)的功能;第二部分使用JasperReports報表引擎來實現(xiàn)報表功能，第三部分使用R語言來實現(xiàn)商品關聯(lián)分析的算法，還可以在R環(huán)境中根據(jù)需要來實現(xiàn)其他的分析。結果展現(xiàn)層，通過HTML頁面、報表、圖表三種方式來對最終的結果進

5、行展現(xiàn)。
　　本文首先介紹了當前我國農貿市場所面臨的問題以及國內外農貿市場的現(xiàn)狀。第二部分介紹了大數(shù)據(jù)、商業(yè)智能等相關概念和電子貨架標簽系統(tǒng)。第三部分介紹了數(shù)據(jù)庫設計和大數(shù)據(jù)存儲與分析的方案，第四部分說明大數(shù)據(jù)商業(yè)智能系統(tǒng)原型的設計方案并演示了系統(tǒng)的部分功能。根據(jù)測試，本系統(tǒng)原型可以比較穩(wěn)定的運行，能夠滿足處理較大規(guī)模數(shù)據(jù)的存儲與分析需求，可以在本課題的基礎上繼續(xù)擴展商業(yè)智能功能。通過應用本系統(tǒng)將會帶來較大的社會效益和經濟效益。從