大數(shù)據(jù)時代的移動通信數(shù)據(jù)經(jīng)營支撐體系.pdf

1、隨著移動互聯(lián)網(wǎng)的快速發(fā)展、智能手機的迅速普及，用戶對數(shù)據(jù)流量業(yè)務(wù)的需求呈爆發(fā)式增長，流量經(jīng)營成為未來發(fā)展高地。支撐系統(tǒng)需要在海量的數(shù)據(jù)中進行深度的分析，研究規(guī)律，掌握用戶使用行為，挖掘使用需求，為業(yè)務(wù)發(fā)展提供科學(xué)的支撐。
　　通信數(shù)據(jù)經(jīng)營支撐系統(tǒng)通過 DPI協(xié)議分析、爬蟲等各類技術(shù)，將數(shù)以億計的網(wǎng)絡(luò)側(cè)話單、報文等的各種源數(shù)據(jù)進行解析，獲取所需的用戶上網(wǎng)行為及特征信息，分類后輸出為相應(yīng)模型數(shù)據(jù)，并分發(fā)至各個系統(tǒng)，提供給各種渠道的界面

2、作展示，或?qū)⑾嚓P(guān)的營銷信息推送給用戶。
　　而在移動數(shù)據(jù)使用量激增、分析模型日趨復(fù)雜的情況下，傳統(tǒng)基于DB2架構(gòu)已經(jīng)難以滿足如此大數(shù)據(jù)量的系統(tǒng)支撐需求。本文通過研究Hadoop和Spark這兩種大數(shù)據(jù)技術(shù)的應(yīng)用場景、生態(tài)系統(tǒng)、關(guān)鍵技術(shù)等，結(jié)合系統(tǒng)自身數(shù)據(jù)量大，迭代運算較多的特點以及存儲分析的用途，采用Spark以及Hadoop生態(tài)組件的深度優(yōu)化、整合，設(shè)計了基于Spark作為運算核心，以HDFS作為存儲，選取Sparkon Yar