某銀行元數(shù)據(jù)解析處理系統(tǒng).pdf

1、目前，某銀行已經(jīng)建立了操作數(shù)據(jù)存儲平臺(ODS)和數(shù)據(jù)中間層，在此期間進行了數(shù)據(jù)咨詢項目和有限的數(shù)據(jù)治理工作，并基于DataStage、Oracle存儲過程等技術實現(xiàn)ETL數(shù)據(jù)加工。在ETL加工過程中，產(chǎn)生了復雜的數(shù)據(jù)流向，沉淀了重要表或重要字段的數(shù)據(jù)模型設計經(jīng)驗。然而復雜的數(shù)據(jù)流向給該單位帶來了巨大的人力損失，流向越復雜，定位問題越無法迅速定位到，當系統(tǒng)升級時，也無法迅速分析出系統(tǒng)升級帶來的影響。元數(shù)據(jù)解析處理系統(tǒng)針對用戶這一問題，結

2、合自身特點，在為完善系統(tǒng)設計的規(guī)范性、明確行內(nèi)數(shù)據(jù)流向關系、提高行內(nèi)數(shù)據(jù)管理水平的目標下開展。
　　基于某公司元數(shù)據(jù)產(chǎn)品搭建元數(shù)據(jù)管理平臺，同時借鑒國內(nèi)外先進銀行最佳實踐，結合本行實際情況，全面實現(xiàn)本行元數(shù)據(jù)平臺建設項目的落地實施，并建立完整高效元數(shù)據(jù)管理體系。根據(jù)銀監(jiān)EAST數(shù)據(jù)報送實施經(jīng)驗，以新核心系統(tǒng)建設為契機和落地實施驗收標準，初步建立數(shù)據(jù)標準。選取小范圍系統(tǒng)（ODS、EAST等）試點，實現(xiàn)包括DDL、數(shù)據(jù)文件定義等技術元

3、數(shù)據(jù)的自動化解析，并實現(xiàn)影響分析、支持元數(shù)據(jù)的查詢?；诮馕鐾瓿傻脑獢?shù)據(jù)，對于問題影響場景，實現(xiàn)影響追溯，使業(yè)務人員能及時追溯到下游節(jié)點問題所在，并通過定位到上游節(jié)點，迅速解決問題。對于系統(tǒng)升級場景，實現(xiàn)變更影響通知，采取發(fā)送郵件主動通知方式，主動通知系統(tǒng)管理員及系統(tǒng)責任人。當上游數(shù)據(jù)發(fā)生變更，只通知下游系統(tǒng)所有系統(tǒng)管理員，管理員可在不登陸元數(shù)據(jù)分析處理系統(tǒng)的情況下，及時了解數(shù)據(jù)資產(chǎn)變更信息。元數(shù)據(jù)分析處理系統(tǒng)以構建元數(shù)據(jù)影響分析為目標

4、，該系統(tǒng)具備Datastage、DDL和Oracle存儲過程解析功能。元數(shù)據(jù)分析處理系統(tǒng)提供數(shù)據(jù)的整合接口，針對不同環(huán)境，采用不同數(shù)據(jù)源來獲取元數(shù)據(jù)，實現(xiàn)實時監(jiān)控和及時更新，真實反映各系統(tǒng)的元數(shù)據(jù)現(xiàn)狀。元數(shù)據(jù)分析處理系統(tǒng)采取樹形形式展現(xiàn)元數(shù)據(jù)，體現(xiàn)數(shù)據(jù)庫、表、字段和ETL、表、字段之間的關系，通過元數(shù)據(jù)元素和箭頭的形式體現(xiàn)元數(shù)據(jù)彼此的流向關系。元數(shù)據(jù)分析處理系統(tǒng)提供元數(shù)據(jù)全文檢索功能。輸入框中輸入查詢關鍵字，可迅速檢索元數(shù)據(jù)分析處理系統(tǒng)