基于Hadoop的電商離線數(shù)據挖掘系統(tǒng)的設計與實現(xiàn).pdf

1、隨著數(shù)據呈現(xiàn)爆炸式的增長，對數(shù)據的處理也日益重要。繼云計算發(fā)展后的又一次引領全球的技術變革，大數(shù)據的概念不斷的深入到社會生活的各個角落。隨著大數(shù)據實踐的不斷深入，以Hadoop平臺為核心的大數(shù)據處理技術也得到了長足的發(fā)展和更新，Hadoop的生態(tài)圈也日趨豐富，為不同場景和不同的功能需求提供了豐富的工具。電商行業(yè)隨著業(yè)務的不斷發(fā)展，其積累的數(shù)據也越來越重要，特別是在規(guī)模不斷發(fā)展的情況。如何處理好目前平臺所存儲的訂單和倉庫數(shù)據成為電商行業(yè)的

2、重要問題，也受到各大電商行業(yè)的公司越來越關注大數(shù)據的發(fā)展和使用，利用大數(shù)據的驅動力，使其成為公司的新的增長突破點和核心競爭力。
　　本文主要研究電商離線數(shù)據挖掘系統(tǒng)的設計與實現(xiàn)，在深入對Hadoop大數(shù)據處理平臺的分析下，提出了基于Hadoop平臺的電商離線數(shù)據處理系統(tǒng)的系統(tǒng)方案。此方案主要利用HDFS作為海量數(shù)據的存儲系統(tǒng)，同時利用Hadoop提供的MapReduce計算框架做為數(shù)據計算模式。解決數(shù)據的存儲和計算模型后，著重研究

3、了Hadoop的數(shù)據處理模型，為電商離線數(shù)據挖掘系統(tǒng)選擇了合適業(yè)務的數(shù)據處理模型。
　　本文的電商離線數(shù)據挖掘系統(tǒng)在詳細的需求分析下，提出了基于Hadoop數(shù)據處理平臺的系統(tǒng)架構。電商離線數(shù)據挖掘系統(tǒng)主要分為七個主要的模塊:數(shù)據轉換存儲模塊、數(shù)據ETL模塊、數(shù)據視圖展現(xiàn)模塊、數(shù)據計算任務流管理模塊、平臺監(jiān)控模塊。本文對這七個主要模塊進行了詳細的設計和實現(xiàn)。最后基于此數(shù)據挖掘系統(tǒng)完成了某電商公司的訂單數(shù)據的ETL和入庫，并在此基礎上