基于電信客戶關懷項目的ETL設計與實現(xiàn).pdf

1、電信客戶關懷項目是為了有效管理電信存量客戶而建立的基于從屬型數(shù)據(jù)集市的分析管理系統(tǒng)。ETI指數(shù)據(jù)抽取、轉換、清洗、裝載的過程，是建立數(shù)據(jù)集市最基本最重要的環(huán)節(jié)，是電信客戶關懷項目數(shù)據(jù)分析成敗的關鍵。 本文主要內容是客戶關懷項目數(shù)據(jù)集市ETL，過程的設計與實現(xiàn)，以及對處理過程的優(yōu)化改進。工作主要包括以下內容： 首先對數(shù)據(jù)倉庫、數(shù)據(jù)集市與ETL的概念特點等進行研究，得到理論基礎；對客戶關懷項目進行詳細的數(shù)據(jù)分析，在需求理解和

2、數(shù)據(jù)理解基礎上得到ETL處理結構。 然后在設計中，采用E.LT的系統(tǒng)結構設計更好解決性能問題，并將ETI，處理的功能設計為數(shù)據(jù)抽取、清洗轉換、加載和監(jiān)控模塊，確定了各功能完成的策略和方式，加入了日志處理功能，便于對整個處理流程進行監(jiān)控，得到ETL過程的處理框架；再針對轉換處理中的數(shù)據(jù)質量問題，本文提出了以數(shù)據(jù)理解為基礎，保證數(shù)據(jù)質量為中心的ETL處理方法，詳細分析和理解客戶關懷項目業(yè)務數(shù)據(jù)，對轉換處理中各個步驟的待處理數(shù)據(jù)和轉化

3、后數(shù)據(jù)都進行跟蹤分析，制定ETL的每步相應的清洗轉換規(guī)則，充分保證數(shù)據(jù)質量；且為了便于進行測試、維護和業(yè)務擴展，將ETL過程分段設計為六個串行業(yè)務處理相對獨立的ETL處理模塊。 最后，實現(xiàn)了ETL的整體到局部的調度過程、各個模塊處理過程和ETL，日志處理功能，并對ETL實現(xiàn)過程遇到的問題采用逐步隔離測試的方法進行性能優(yōu)化。得到的該ETL處理過程從功能和性能上都達到了設計要求，為客戶關懷項目提供了較好的數(shù)據(jù)支持，也為其他數(shù)據(jù)集市E