基于電信客戶關(guān)懷項目的ETL設(shè)計與實現(xiàn).pdf

1、電信客戶關(guān)懷項目是為了有效管理電信存量客戶而建立的基于從屬型數(shù)據(jù)集市的分析管理系統(tǒng)。ETI指數(shù)據(jù)抽取、轉(zhuǎn)換、清洗、裝載的過程，是建立數(shù)據(jù)集市最基本最重要的環(huán)節(jié)，是電信客戶關(guān)懷項目數(shù)據(jù)分析成敗的關(guān)鍵。 本文主要內(nèi)容是客戶關(guān)懷項目數(shù)據(jù)集市ETL，過程的設(shè)計與實現(xiàn)，以及對處理過程的優(yōu)化改進。工作主要包括以下內(nèi)容： 首先對數(shù)據(jù)倉庫、數(shù)據(jù)集市與ETL的概念特點等進行研究，得到理論基礎(chǔ)；對客戶關(guān)懷項目進行詳細(xì)的數(shù)據(jù)分析，在需求理解和

2、數(shù)據(jù)理解基礎(chǔ)上得到ETL處理結(jié)構(gòu)。 然后在設(shè)計中，采用E.LT的系統(tǒng)結(jié)構(gòu)設(shè)計更好解決性能問題，并將ETI，處理的功能設(shè)計為數(shù)據(jù)抽取、清洗轉(zhuǎn)換、加載和監(jiān)控模塊，確定了各功能完成的策略和方式，加入了日志處理功能，便于對整個處理流程進行監(jiān)控，得到ETL過程的處理框架；再針對轉(zhuǎn)換處理中的數(shù)據(jù)質(zhì)量問題，本文提出了以數(shù)據(jù)理解為基礎(chǔ)，保證數(shù)據(jù)質(zhì)量為中心的ETL處理方法，詳細(xì)分析和理解客戶關(guān)懷項目業(yè)務(wù)數(shù)據(jù)，對轉(zhuǎn)換處理中各個步驟的待處理數(shù)據(jù)和轉(zhuǎn)化

3、后數(shù)據(jù)都進行跟蹤分析，制定ETL的每步相應(yīng)的清洗轉(zhuǎn)換規(guī)則，充分保證數(shù)據(jù)質(zhì)量；且為了便于進行測試、維護和業(yè)務(wù)擴展，將ETL過程分段設(shè)計為六個串行業(yè)務(wù)處理相對獨立的ETL處理模塊。 最后，實現(xiàn)了ETL的整體到局部的調(diào)度過程、各個模塊處理過程和ETL，日志處理功能，并對ETL實現(xiàn)過程遇到的問題采用逐步隔離測試的方法進行性能優(yōu)化。得到的該ETL處理過程從功能和性能上都達到了設(shè)計要求，為客戶關(guān)懷項目提供了較好的數(shù)據(jù)支持，也為其他數(shù)據(jù)集市E