面向大數(shù)據(jù)的終端營銷分析系統(tǒng)的設計與實現(xiàn).pdf

1、通信行業(yè)的發(fā)展正經歷從語音經營向流量經營、單一業(yè)務向融合業(yè)務、移動通信向移動互聯(lián)網(wǎng)的轉型。終端業(yè)務已經發(fā)展為“云-管-端”戰(zhàn)略任務中的重要環(huán)節(jié)，承擔了企業(yè)轉型任務的重擔。終端不僅是電信運營商的資源和營收來源，更是撬動增值業(yè)務迅速發(fā)展和數(shù)據(jù)流量增量且增收的重要杠桿。隨著終端業(yè)務的不斷發(fā)展，每日將產生與終端業(yè)務直接相關的數(shù)據(jù)達十幾萬條，間接相關的數(shù)據(jù)多達十幾億條。此時，已有的終端管理系統(tǒng)已經無法滿足市場部門對如此海量數(shù)據(jù)分析處理的需求。

2、r>　　本文首先分析了大數(shù)據(jù)相關的存儲、處理和分析技術，確定了系統(tǒng)研發(fā)的技術路線。通過對現(xiàn)有的業(yè)務系統(tǒng)和市場部門的調研，分析了終端管理的業(yè)務需求以及現(xiàn)有終端管理系統(tǒng)存在的不足，得出了本系統(tǒng)的功能需求?；谛枨蠓治鼋Y果，從邏輯架構、應用結構和技術架構給出了本系統(tǒng)的系統(tǒng)架構設計，確定了與其他業(yè)務系統(tǒng)的系統(tǒng)邊界。本文介紹了使用的開發(fā)技術和平臺，給出了大數(shù)據(jù)基礎架構模塊和數(shù)據(jù)采集接口的定義與實現(xiàn)。本系統(tǒng)以Hadoop服務器集群為基礎；與CRM系

3、統(tǒng)的數(shù)據(jù)交互采用現(xiàn)有的文件接口形式，將終端銷售業(yè)務數(shù)據(jù)以文件形式保存到HDFS中；使用Sqoop技術對于其它業(yè)務系統(tǒng)中的數(shù)據(jù)進行采集和存儲；采用Yarn框架實現(xiàn)對HDFS中存放的終端營銷數(shù)據(jù)進行分析處理；通過HBase、Hive、Thrift和J2EE技術分別提供對海量業(yè)務數(shù)據(jù)的查詢、批處理查詢、編程API和Web訪問接口。最后，本文介紹了終端營銷分析系統(tǒng)的測試和試點應用情況。本系統(tǒng)以大數(shù)據(jù)基礎架構管理為基礎，可實現(xiàn)平臺系統(tǒng)的快速部署和