基于Hadoop的用戶特征數(shù)據(jù)統(tǒng)一分析平臺設(shè)計與實現(xiàn).pdf

1、近年來，隨著互聯(lián)網(wǎng)用戶越來越多，用戶行為信息量不斷增加，其增長速度讓人感到不可思議，根據(jù)一個互聯(lián)網(wǎng)企業(yè)的統(tǒng)計，用戶在網(wǎng)絡(luò)上購買某一商品前，平均需要打開五個不同網(wǎng)店地址，瀏覽網(wǎng)頁超過三十個，搜索次數(shù)大于十次。這些信息具有較大的分析價值，從中可以分析出用戶的相關(guān)特征，從而可以為用戶提供周到的推薦服務(wù)，這對公司和用戶自身都是有益的。目前，面向用戶特征數(shù)據(jù)分析的應(yīng)用越來越多，導致數(shù)據(jù)分散、工作量重復等問題，缺少一個統(tǒng)一的方案來解決此類問題，因此

2、開發(fā)一個用戶特征數(shù)據(jù)統(tǒng)一分析平臺變得越來越有必要。
　　本文首先簡介了Hadoop大數(shù)據(jù)處理的研究現(xiàn)狀，然后闡述了用戶特征數(shù)據(jù)分析的研究現(xiàn)狀，為開發(fā)該系統(tǒng)提供了必要的參考，同時介紹了用戶特征數(shù)據(jù)分析相關(guān)的應(yīng)用。在需求分析階段，制定了該平臺的各項需求，根據(jù)其需求，對平臺做了詳細的設(shè)計，從功能的不同的角度出發(fā)，將平臺劃分為數(shù)據(jù)采集模塊、數(shù)據(jù)預處理模塊、模型建立模塊和用戶特征查詢模塊。數(shù)據(jù)采集模塊支持不同方式的采集。預處理模塊提供了一個

3、預處理框架，可以根據(jù)需求自定義操作順序和操作內(nèi)容，使得預處理過程更加方便和靈活，目前平臺支持封裝、切詞、特征提取、權(quán)值計算、數(shù)據(jù)格式化等預處理操作。在模型建立階段，平臺利用支持向量機分類算法、樸素貝葉斯分類算法和Adaboost算法，通過訓練生成模型，以供預測需要。特征查詢模塊對外提供了遠程調(diào)用的接口，內(nèi)部實現(xiàn)了LRU緩沖區(qū)，提高了平臺性能。為了體現(xiàn)平臺的可用性，基于平臺實現(xiàn)了用戶性別識別、用戶年齡識別和用戶消費能力識別的具體應(yīng)用。在平