基于云環(huán)境的電信數據處理平臺設計與實現(xiàn).pdf

1、數據是現(xiàn)代信息社會運行的命脈,也是各家電信服務商布局數據服務產業(yè)的關鍵瓶頸。由于電信數據服務行業(yè)的競爭,數據匯聚、數據挖掘已成為知識提取和決策支持的核心,發(fā)揮著其重要的作用。鑒于企業(yè)傳統(tǒng)的查詢與統(tǒng)計方式只能進行基本的數據處理,難以在更高層次上對數據進行深入分析,大數據匯聚處理能力在不同程度上制約著各家電信數據服務商的服務水準。
　　本人所在的中國電信號百信息服務有限公司(后文簡稱:號百)對于數據質量和數據管理上的要求逐漸上升,需要

2、新的平臺來解決傳統(tǒng)電信系統(tǒng)數據采集中的質量問題和數據干擾問題,并且在原有數據集成基礎上提升數據處理深度,提高數據挖掘準確性,提升數據處理效率性,降低數據處理單位成本。
　　為符合當前云計算與大數據領域的發(fā)展趨勢,建立自有的大數據處理能力,在保證數據處理能力的同時,不斷提升信息服務水平。
　　論文說明基于云計算環(huán)境的電信數據處理平臺的設計與實現(xiàn),主要內容包括以下幾個方面:
　　(1)論文研究背景:作為電信下屬專業(yè)數據經營

3、公司,存在著海量數據同短缺的數據處理能力的矛盾;因此,必須建立基于云計算環(huán)境的高性價比、高效數據處理平臺支持公司各方面業(yè)務的開展。
　　(2)關鍵技術介紹:介紹了數據處理平臺應用的基本理論與關鍵技術:包括云計算和數據挖掘的相關概念以及常見挖掘算法。通過數據挖掘和云計算的實際案例和目前云計算在國內外的部分應用情況,說明選擇云計算框架的優(yōu)越性和必要性。
　　(3)平臺需求和算法研究:敘述平臺項目需求和架構選型過程。論文說明了當前

4、公司數據處理的特點和數據處理平臺的項目需求;闡述了平臺選擇基于Apache Hadoop的云計算架構的必要性。同時,論文對客戶分類、客戶判重、非規(guī)范文本處理、資料提取等具體功能在云計算環(huán)境中的算法實現(xiàn)進行了討論,并展示電信日志類、基礎類數據的數據處理流程。
　　(4)平臺設計和實現(xiàn):論文通過用例視圖、邏輯視圖、系統(tǒng)技術平臺視圖等圖表說明了平臺的設計;介紹平臺整體模型,說明平臺的三個主要模塊(前臺服務模塊,并行事務管理模塊,Hado