基于大數(shù)據(jù)的電子商務(wù)供求分析系統(tǒng).pdf

1、電子商務(wù)平臺中經(jīng)常存在著供求差距，所謂供求差距是指商家（供給方）現(xiàn)有的商品不滿足買家（需求方）的需求。在電子商務(wù)中，買家的購物需求往往蘊(yùn)含在買家的購物行為中，例如以關(guān)鍵詞搜索商品，在商品網(wǎng)頁中點(diǎn)擊價(jià)格、類別、運(yùn)送時(shí)間要素等。如何從買家購物行為中分析出買家的需求，并提供給賣家作為供給的參考，從而解決買賣雙方的供求差距，是電子商務(wù)需要解決的重要問題。
　　針對上述問題，本文以國際著名的某電子商務(wù)公司（簡稱E公司）的實(shí)際項(xiàng)目為背景，針對

2、如何分析在TB級用戶行為數(shù)據(jù)的基礎(chǔ)上得到熱賣與非熱賣的商品列表的實(shí)際需求，在對基于Hive的數(shù)據(jù)存儲技術(shù)、基于規(guī)則的數(shù)據(jù)清洗技術(shù)、基于MapReduce的供求關(guān)系分析建模技術(shù)等相關(guān)技術(shù)進(jìn)行分析研究的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于大數(shù)據(jù)的電子商務(wù)供求分析系統(tǒng)，并通過在E公司的電子商務(wù)平臺中對3TB實(shí)際數(shù)據(jù)的系統(tǒng)測試以及三個(gè)月的實(shí)際上線運(yùn)行，對該系統(tǒng)的可行性和有效性進(jìn)行了驗(yàn)證。
　　本文的工作內(nèi)容有以下幾個(gè)方面：
　　（1）針對電

3、子商務(wù)平臺大規(guī)模用戶行為數(shù)據(jù)的提取與清理問題，對數(shù)據(jù)進(jìn)行了ETL(Extract,transformation and load)，提出了基于規(guī)則的數(shù)據(jù)清理以及基于HADOOP Hive數(shù)據(jù)倉庫對數(shù)據(jù)進(jìn)行存儲和處理的方案，將數(shù)據(jù)整合為適合進(jìn)行數(shù)據(jù)分析的形式，解決大規(guī)模數(shù)據(jù)量下對數(shù)據(jù)進(jìn)行存儲與處理的效率問題。
　?。?）使用大規(guī)模行為數(shù)據(jù)對買家用戶需求進(jìn)行提取與歸并。在T級別的數(shù)據(jù)量下，對用戶搜索關(guān)鍵詞和用戶搜索行為進(jìn)行處理，根據(jù)不

4、同搜索行為下的用戶需求進(jìn)行歸并，提取需求信息并對應(yīng)到相應(yīng)商品上?；贖ive設(shè)計(jì)并實(shí)現(xiàn)了針對此問題的UDF(User define function)，對用戶的搜索關(guān)鍵詞進(jìn)行處理，對用戶的搜索行為進(jìn)行分析，提取用戶需求，完成對大規(guī)模用戶行為數(shù)據(jù)的分析與處理。
　?。?）根據(jù)用戶需求與電子商務(wù)平臺的整體供給，對供需關(guān)系進(jìn)行建模。根據(jù)不同的業(yè)務(wù)需求，對不同的業(yè)務(wù)指標(biāo)建立模型，在Hadoop MapReduce下設(shè)計(jì)并實(shí)現(xiàn)，提供潛在熱銷