電子商務數(shù)據(jù)分析平臺的設計與實現(xiàn).pdf

1、計算機應用未來的發(fā)展方向是對數(shù)據(jù)的深度處理，在大數(shù)據(jù)概念提出以后，如何對研究領域中的數(shù)據(jù)進行采集、處理、挖掘、應用，成為各個行業(yè)研究的熱點。電子商務改變了傳統(tǒng)的經(jīng)營模式，是互聯(lián)網(wǎng)最成功的應用之一，而電子商務中產(chǎn)生的大量數(shù)據(jù)，具有十分重要的應用價值。
　　1、針對目前在電子商務領域中，數(shù)據(jù)分析和應用并不十分廣泛，而且一般只關注于某一方面研究分析，無法對數(shù)據(jù)進行全面分析處理的缺點，提出了電子商務數(shù)據(jù)分析平臺模型，該模型主要包括數(shù)據(jù)源層

2、，操作數(shù)據(jù)層，數(shù)據(jù)集成層，數(shù)據(jù)處理層，數(shù)據(jù)應用層五個組成部分，其中數(shù)據(jù)源層由多個異構數(shù)據(jù)庫組成，分別存儲電子商務系統(tǒng)運營過程中產(chǎn)生的不同類型數(shù)據(jù)。
　　2、在總體架構中，操作數(shù)據(jù)層是對數(shù)據(jù)源層進行提取，主要是最近一個時期的“熱”數(shù)據(jù)，并可實現(xiàn)對數(shù)據(jù)細節(jié)的查詢;數(shù)據(jù)集成層是根據(jù)分析應用的需求，將操作數(shù)據(jù)層中的數(shù)據(jù)進行集成處理，主要是為數(shù)據(jù)的應用提供基礎;數(shù)據(jù)處理層是采用數(shù)據(jù)挖掘、數(shù)據(jù)聯(lián)機分析處理、數(shù)據(jù)統(tǒng)計等各類分析方法，對集成后的數(shù)

3、據(jù)進行處理;數(shù)據(jù)應用層是根據(jù)用戶的業(yè)務需求構建數(shù)據(jù)處理應用，并調(diào)用各類數(shù)據(jù)分析方法，獲取分析結果。為了使電子商務數(shù)據(jù)分析平臺具有對海量數(shù)據(jù)進行處理的能力，在平臺具體實現(xiàn)方面引入了Hadoop平臺技術，利用基于HDFS的分布式存儲模式，提高對非結構化數(shù)據(jù)的存儲和處理能力，同時也拓展了系統(tǒng)的擴展能力。
　　3、針對對于大量數(shù)據(jù)的處理效率問題，采用Map/Reduce并行運算技術，將該技術與電子商務數(shù)據(jù)分析平臺相結合，作為對數(shù)據(jù)挖掘進行

4、處理的工具，并對Apriori算法進行了改進，提高了分類數(shù)據(jù)挖掘的運算效率;設計了電子商務數(shù)據(jù)分析平臺應用層的功能架構，通過對電子商務數(shù)據(jù)分析業(yè)務流程的討論，確定了系統(tǒng)應用的目標，討論了功能設計方案和實現(xiàn)過程，并通過測試驗證功能的有效性。
　　電子商務數(shù)據(jù)分析平臺采用分層架構模式，充分利用各類智能數(shù)據(jù)處理技術對電子商務平臺中的數(shù)據(jù)進行分析，以滿足用戶不同的應用需求，為電子商務系統(tǒng)的管理者改進經(jīng)營模式，更好地維護客戶關系，提高經(jīng)濟效