農(nóng)產(chǎn)品信息采集與發(fā)布平臺(tái)的研究和實(shí)現(xiàn).pdf

1、從上世紀(jì)七十年代到現(xiàn)在，我國的農(nóng)產(chǎn)品價(jià)格一直處于波動(dòng)狀態(tài)，特別是在2008年以后，農(nóng)產(chǎn)品價(jià)格波動(dòng)周期持續(xù)縮短，波動(dòng)不對稱，上升幅度高于跌落幅度，處于暴漲暴跌的狀態(tài)。而農(nóng)產(chǎn)品價(jià)格波動(dòng)不僅會(huì)對農(nóng)民收入和農(nóng)民生產(chǎn)積極性產(chǎn)生直接影響，更關(guān)乎百姓的日常生活和切身利益。而信息不對稱被認(rèn)為是農(nóng)產(chǎn)品價(jià)格波動(dòng)的關(guān)鍵因素，尤其是農(nóng)民很難從市場得到實(shí)時(shí)準(zhǔn)確的價(jià)格和銷售信息。目前的網(wǎng)上農(nóng)產(chǎn)品網(wǎng)站良莠不齊，大多服務(wù)于政府而不是農(nóng)民。本文為農(nóng)民著想，及時(shí)、全面地掌

2、握農(nóng)產(chǎn)品市場價(jià)格，以權(quán)威的農(nóng)產(chǎn)品價(jià)格行情網(wǎng)站為對象進(jìn)行Web信息采集，同時(shí)探索利用歷史數(shù)據(jù)對其未來價(jià)格趨勢進(jìn)行預(yù)測。
　　論文的主要內(nèi)容:
　　第一，本文總結(jié)了網(wǎng)絡(luò)爬蟲的相關(guān)技術(shù)(如開源的爬蟲工具Heritrix)、網(wǎng)絡(luò)信息抽取相關(guān)技術(shù);利用基于php/python的正則表達(dá)式采集全國農(nóng)商網(wǎng)的農(nóng)產(chǎn)品數(shù)據(jù)庫。得到農(nóng)產(chǎn)品分類信息:糧油類、蔬菜類、果品類、水產(chǎn)品類和畜產(chǎn)品類;各種農(nóng)產(chǎn)品名稱和對應(yīng)URL;農(nóng)產(chǎn)品價(jià)格行情:農(nóng)產(chǎn)品名稱、

3、農(nóng)產(chǎn)品所在市場、農(nóng)產(chǎn)品價(jià)格、農(nóng)產(chǎn)品價(jià)格發(fā)布日期等。經(jīng)過以上三級(jí)的爬取，農(nóng)產(chǎn)品價(jià)格行情獲取完整，目前已經(jīng)獲取50多萬條數(shù)據(jù)，并且每天都在增加。
　　第二，比較基于Heritrix的Web信息采集過程和基于php/python代碼的web信息采集過程，介紹兩種方法各自的優(yōu)勢。
　　第三，以北京豐臺(tái)區(qū)新發(fā)地農(nóng)產(chǎn)品批發(fā)市場2006、2007、2008、2009、2010、2012、2013年6月份胡蘿卜價(jià)格數(shù)據(jù)（平均價(jià)格）為研究對象

4、，預(yù)測2014價(jià)格。使用的預(yù)測方法分別有平均數(shù)預(yù)測法、加權(quán)算術(shù)平均法、時(shí)間序列平均增長量預(yù)測法、時(shí)間序列平均發(fā)展速度市場預(yù)測法、一次移動(dòng)平均預(yù)測法、二次移動(dòng)平均預(yù)測法。并通過誤差平方來判斷各種方法的優(yōu)劣，分析每種方法的適用情況。
　　第四，開發(fā)了農(nóng)產(chǎn)品信息采集發(fā)布平臺(tái)。農(nóng)產(chǎn)品信息采集發(fā)布平臺(tái)按照功能需求可劃分為農(nóng)產(chǎn)品信息采集模塊，農(nóng)產(chǎn)品信息查詢、比對模塊，農(nóng)產(chǎn)品求購模塊，登錄、注冊模塊，管理模塊。其中價(jià)格比對圖和價(jià)格月份走勢圖由開