基于Hadoop的百度游戲數(shù)據(jù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、百度游戲數(shù)據(jù)平臺(tái)是百度游戲事業(yè)部的基礎(chǔ)數(shù)據(jù)平臺(tái)，主要實(shí)現(xiàn)百度游戲事業(yè)部基礎(chǔ)數(shù)據(jù)的抽取、計(jì)算、統(tǒng)計(jì)、展示等功能。百度游戲事業(yè)部自成立以來(lái)不斷發(fā)展壯大，取得了令人矚目的成績(jī)。隨著部門平臺(tái)的不斷增加、數(shù)據(jù)量的不斷增長(zhǎng)、數(shù)據(jù)類型的不斷擴(kuò)展，對(duì)數(shù)據(jù)統(tǒng)計(jì)和分析的需求不斷加劇。數(shù)據(jù)蘊(yùn)藏著巨大的價(jià)值，游戲玩家的注冊(cè)、登錄和付費(fèi)等數(shù)據(jù)可以為部門的決策和戰(zhàn)略提供依據(jù)?；诖朔N情況，提出了百度游戲數(shù)據(jù)平臺(tái)的設(shè)計(jì)與開發(fā)需求，計(jì)劃建設(shè)一個(gè)基于維度模型的大數(shù)據(jù)多維

2、分析系統(tǒng)，希望能夠滿足市場(chǎng)運(yùn)營(yíng)人員的各項(xiàng)數(shù)據(jù)統(tǒng)計(jì)需求，提供及時(shí)、準(zhǔn)確、全面、多維度的數(shù)據(jù)統(tǒng)計(jì)功能。由于基礎(chǔ)數(shù)據(jù)來(lái)源復(fù)雜、數(shù)量龐大，本項(xiàng)目利用Hadoop分布式架構(gòu)，提供一個(gè)完整的數(shù)據(jù)解決方案。
　　項(xiàng)目從數(shù)據(jù)流上可劃分成兩大部分，基于Hadoop的基礎(chǔ)數(shù)據(jù)系統(tǒng)和基于J2EE（Java2 Platform Enterprise Edition，Java2平臺(tái)企業(yè)版）的數(shù)據(jù)平臺(tái)系統(tǒng)。其中，基礎(chǔ)數(shù)據(jù)系統(tǒng)利用 Hadoop的計(jì)算能力，完成

3、數(shù)據(jù)ETL（Extraction-Transformation-Loading，數(shù)據(jù)提取、轉(zhuǎn)換和加載）和數(shù)據(jù)維度計(jì)算;數(shù)據(jù)平臺(tái)系統(tǒng)根據(jù)數(shù)據(jù)報(bào)表需求，實(shí)現(xiàn)數(shù)據(jù)計(jì)算、存儲(chǔ)和查詢、展現(xiàn)功能，并實(shí)現(xiàn)了定制報(bào)表、定時(shí)任務(wù)配置和多層級(jí)覆蓋的權(quán)限管理等特色功能。數(shù)據(jù)平臺(tái)包括六個(gè)部分:今日概況、定制報(bào)告、市場(chǎng)推廣、運(yùn)營(yíng)統(tǒng)計(jì)、配置管理和配置常用報(bào)表，每個(gè)部分根據(jù)需求又細(xì)分為各個(gè)子模塊。本文論述了百度游戲數(shù)據(jù)平臺(tái)的需求分析、架構(gòu)設(shè)計(jì)以及詳細(xì)設(shè)計(jì)和最終實(shí)現(xiàn)。