基于電信客戶關懷項目的ETL設計與實現.pdf

1、電信客戶關懷項目是為了有效管理電信存量客戶而建立的基于從屬型數據集市的分析管理系統(tǒng)。ETI指數據抽取、轉換、清洗、裝載的過程，是建立數據集市最基本最重要的環(huán)節(jié)，是電信客戶關懷項目數據分析成敗的關鍵。 本文主要內容是客戶關懷項目數據集市ETL，過程的設計與實現，以及對處理過程的優(yōu)化改進。工作主要包括以下內容： 首先對數據倉庫、數據集市與ETL的概念特點等進行研究，得到理論基礎；對客戶關懷項目進行詳細的數據分析，在需求理解和

2、數據理解基礎上得到ETL處理結構。 然后在設計中，采用E.LT的系統(tǒng)結構設計更好解決性能問題，并將ETI，處理的功能設計為數據抽取、清洗轉換、加載和監(jiān)控模塊，確定了各功能完成的策略和方式，加入了日志處理功能，便于對整個處理流程進行監(jiān)控，得到ETL過程的處理框架；再針對轉換處理中的數據質量問題，本文提出了以數據理解為基礎，保證數據質量為中心的ETL處理方法，詳細分析和理解客戶關懷項目業(yè)務數據，對轉換處理中各個步驟的待處理數據和轉化

3、后數據都進行跟蹤分析，制定ETL的每步相應的清洗轉換規(guī)則，充分保證數據質量；且為了便于進行測試、維護和業(yè)務擴展，將ETL過程分段設計為六個串行業(yè)務處理相對獨立的ETL處理模塊。 最后，實現了ETL的整體到局部的調度過程、各個模塊處理過程和ETL，日志處理功能，并對ETL實現過程遇到的問題采用逐步隔離測試的方法進行性能優(yōu)化。得到的該ETL處理過程從功能和性能上都達到了設計要求，為客戶關懷項目提供了較好的數據支持，也為其他數據集市E