大數(shù)據(jù)自助分析系統(tǒng)的設計與實現(xiàn).pdf

1、近幾年，互聯(lián)網(wǎng)的高速發(fā)展，數(shù)據(jù)量呈指數(shù)上漲，我們已然進入了“大數(shù)據(jù)時代”。在這樣的互聯(lián)網(wǎng)時代里，數(shù)據(jù)發(fā)揮著越來越重要的作用?；ヂ?lián)網(wǎng)先驅(qū)Google、IBM等公司首先意識到了大數(shù)據(jù)蘊含的巨大價值，率先投入資源進行研究。對于相對落后的中國互聯(lián)網(wǎng)，各大公司也紛紛崛起追趕。
　　本課題通過對大數(shù)據(jù)研究，開發(fā)大數(shù)據(jù)產(chǎn)品，提供給用戶一個數(shù)據(jù)提取和分析的自助化平臺。此平臺利用已有用戶數(shù)據(jù)資源，通過提取和分析，將雜亂數(shù)據(jù)變?yōu)榫哂猩虡I(yè)價值的可用資源

2、，解決產(chǎn)品經(jīng)理們面臨的數(shù)據(jù)難題。
　　本系統(tǒng)基于騰訊分布式數(shù)據(jù)倉庫（TDW）之上進行開發(fā)，利用TDW存儲和計算資源實現(xiàn)數(shù)據(jù)提取和分析。本系統(tǒng)分為四大模塊：TDW接入模塊、任務調(diào)度模塊、權(quán)限管理模塊和Web功能模塊。其中TDW接入模塊將TDW存儲數(shù)據(jù)表配置信息和各業(yè)務的分析指標接入本系統(tǒng)，供提取和分析使用，同時將計算任務通過任務調(diào)度，接入TDW中運行，獲取或者上傳數(shù)據(jù)。用戶通過權(quán)限管理模塊，獲得相應數(shù)據(jù)表、分析指標的訪問權(quán)限。而后，

3、用戶可在Web功能模塊中完成數(shù)據(jù)提取和分析。其中用戶可根據(jù)需求篩選數(shù)據(jù)子集、上傳文件、對提取任務結(jié)果、上傳數(shù)據(jù)或者大盤數(shù)據(jù)進行相應指標的分析。本文提供基本分析、對比分析、交叉分析、下鉆分析、聚類分析、相關分析等分析方法，根據(jù)用戶所選指標和數(shù)據(jù)包，自動選擇分析方法進行分析。
　　目前系統(tǒng)可供用戶提取的數(shù)據(jù)約為100PB，可分析指標超過5000個，能夠滿足產(chǎn)品經(jīng)理日常產(chǎn)品運營、策劃等需求。經(jīng)過性能測試，結(jié)合產(chǎn)品運營報告，對系統(tǒng)進行了優(yōu)