基于Hadoop的電商離線數(shù)據(jù)挖掘系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著數(shù)據(jù)呈現(xiàn)爆炸式的增長，對數(shù)據(jù)的處理也日益重要。繼云計算發(fā)展后的又一次引領(lǐng)全球的技術(shù)變革，大數(shù)據(jù)的概念不斷的深入到社會生活的各個角落。隨著大數(shù)據(jù)實踐的不斷深入，以Hadoop平臺為核心的大數(shù)據(jù)處理技術(shù)也得到了長足的發(fā)展和更新，Hadoop的生態(tài)圈也日趨豐富，為不同場景和不同的功能需求提供了豐富的工具。電商行業(yè)隨著業(yè)務(wù)的不斷發(fā)展，其積累的數(shù)據(jù)也越來越重要，特別是在規(guī)模不斷發(fā)展的情況。如何處理好目前平臺所存儲的訂單和倉庫數(shù)據(jù)成為電商行業(yè)的

2、重要問題，也受到各大電商行業(yè)的公司越來越關(guān)注大數(shù)據(jù)的發(fā)展和使用，利用大數(shù)據(jù)的驅(qū)動力，使其成為公司的新的增長突破點(diǎn)和核心競爭力。
　　本文主要研究電商離線數(shù)據(jù)挖掘系統(tǒng)的設(shè)計與實現(xiàn)，在深入對Hadoop大數(shù)據(jù)處理平臺的分析下，提出了基于Hadoop平臺的電商離線數(shù)據(jù)處理系統(tǒng)的系統(tǒng)方案。此方案主要利用HDFS作為海量數(shù)據(jù)的存儲系統(tǒng)，同時利用Hadoop提供的MapReduce計算框架做為數(shù)據(jù)計算模式。解決數(shù)據(jù)的存儲和計算模型后，著重研究

3、了Hadoop的數(shù)據(jù)處理模型，為電商離線數(shù)據(jù)挖掘系統(tǒng)選擇了合適業(yè)務(wù)的數(shù)據(jù)處理模型。
　　本文的電商離線數(shù)據(jù)挖掘系統(tǒng)在詳細(xì)的需求分析下，提出了基于Hadoop數(shù)據(jù)處理平臺的系統(tǒng)架構(gòu)。電商離線數(shù)據(jù)挖掘系統(tǒng)主要分為七個主要的模塊:數(shù)據(jù)轉(zhuǎn)換存儲模塊、數(shù)據(jù)ETL模塊、數(shù)據(jù)視圖展現(xiàn)模塊、數(shù)據(jù)計算任務(wù)流管理模塊、平臺監(jiān)控模塊。本文對這七個主要模塊進(jìn)行了詳細(xì)的設(shè)計和實現(xiàn)。最后基于此數(shù)據(jù)挖掘系統(tǒng)完成了某電商公司的訂單數(shù)據(jù)的ETL和入庫，并在此基礎(chǔ)上