電信經(jīng)營分析系統(tǒng)中數(shù)據(jù)質(zhì)量控制子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、電信經(jīng)營分析系統(tǒng)利用電信業(yè)務(wù)過程中產(chǎn)生的大量數(shù)據(jù)，對(duì)其進(jìn)行挖掘和分析，為電信運(yùn)營商的決策和內(nèi)部規(guī)范管理提供充分的依據(jù)。在系統(tǒng)運(yùn)作的過程中，數(shù)據(jù)質(zhì)量問題直接影響分析結(jié)果，因此對(duì)電信經(jīng)營分析系統(tǒng)的數(shù)據(jù)質(zhì)量進(jìn)行控制，具有重要的實(shí)用價(jià)值。 系統(tǒng)初期的數(shù)據(jù)源采集處理只有一個(gè)轉(zhuǎn)發(fā)功能，數(shù)據(jù)源前端機(jī)接收來自各電信生產(chǎn)系統(tǒng)提供的文本文件數(shù)據(jù)，然后轉(zhuǎn)發(fā)到系統(tǒng)的數(shù)據(jù)源后端機(jī)，在這過程中人工進(jìn)行粗略的格式檢查，再提供給ETL服務(wù)器處理。隨著系統(tǒng)的不斷

2、擴(kuò)大，數(shù)據(jù)源變得越來越多，并且數(shù)據(jù)源格式也呈現(xiàn)多樣復(fù)雜化，初期的處理策略已經(jīng)跟不上系統(tǒng)的發(fā)展，給系統(tǒng)的運(yùn)作造成了很大的壓力。在系統(tǒng)運(yùn)作過程和數(shù)據(jù)應(yīng)用時(shí)出現(xiàn)的數(shù)據(jù)質(zhì)量問題難于定位，需要花費(fèi)大量的人力去查找出錯(cuò)或異常的原因，嚴(yán)重影響到數(shù)據(jù)的處理效率；此外還會(huì)降低用戶對(duì)系統(tǒng)使用的信心和熱情。 本文根據(jù)各業(yè)務(wù)的數(shù)據(jù)源格式、業(yè)務(wù)特征和上傳規(guī)律，結(jié)合實(shí)際運(yùn)作的經(jīng)驗(yàn)，設(shè)計(jì)了一個(gè)高效的采集模塊，來完成數(shù)據(jù)源的采集、檢查和監(jiān)控。為了提高采集處理的

3、效率，在采集處理流程上進(jìn)行模塊細(xì)分，每個(gè)模塊完成特定的功能，然后采用流水線型并發(fā)式處理模式，充分利用系統(tǒng)的資源。將規(guī)則引擎嵌入到復(fù)雜繁瑣的文件檢查處理中，通過配置相應(yīng)業(yè)務(wù)的檢查規(guī)則，完成對(duì)數(shù)據(jù)源的數(shù)據(jù)質(zhì)量檢查及控制，從文件、記錄及字段三個(gè)級(jí)別對(duì)文件進(jìn)行掃描，方便和減輕了數(shù)據(jù)質(zhì)量檢查的工作。通過高效的采集程序，及時(shí)地發(fā)現(xiàn)和協(xié)助解決問題，縮短了整個(gè)電信經(jīng)營分析系統(tǒng)的數(shù)據(jù)處理時(shí)間。 數(shù)據(jù)質(zhì)量子系統(tǒng)的實(shí)施，提高了系統(tǒng)運(yùn)作的效率，有利于進(jìn)