etl技術規(guī)范(通用)

1、ETL技術規(guī)范第1章.ETL設計規(guī)范ETL設計規(guī)范主要應用于ETL編碼的前期工作。由于ETL全過程是面向數(shù)據(jù)的，主要工作為數(shù)據(jù)的抽?。‥xtract）、轉換（Transfm）、裝載（Loading），正確界定所涉及到的數(shù)據(jù)范圍和應當應用的轉換邏輯對于后續(xù)的編碼工作非常重要，這些數(shù)據(jù)關系的確定，我們稱之為Mapping（數(shù)據(jù)映射）。正確定義數(shù)據(jù)映射關系是ETL成功實施的前提，一個完善的Mapping應該包含以下幾個部分：1.1源數(shù)據(jù)集屬性

2、此部分應該詳細描述數(shù)據(jù)源的相關屬性，包括：實體名稱實體名稱——含數(shù)據(jù)來源名稱（DSN）、所有者等信息；字段名稱字段名稱——英文名稱；字段簡述字段簡述——中文名稱，如為參數(shù)信息應該有相關取值解釋，如性別字段（1：男；2：女；0：不詳）類型類型——字段類型，含長度和精度信息；非空屬性非空屬性——字段是否可以為空；1.3ETL規(guī)則主要描述ETL各個環(huán)節(jié)的轉換規(guī)則，包括：數(shù)據(jù)源過濾規(guī)則數(shù)據(jù)源過濾規(guī)則——描述從源數(shù)據(jù)集獲取數(shù)據(jù)過程中過濾掉記錄的規(guī)

3、則；關聯(lián)規(guī)則關聯(lián)規(guī)則——當源數(shù)據(jù)集為多個時，描述相互之間的關聯(lián)關系；列轉換規(guī)則列轉換規(guī)則——描述源數(shù)據(jù)集到目標數(shù)據(jù)集的字段間的轉換規(guī)則；此規(guī)則非常重要，要清晰描述字段間的邏輯關系，包括業(yè)務邏輯；目標數(shù)據(jù)集更新規(guī)則目標數(shù)據(jù)集更新規(guī)則——描述目標數(shù)據(jù)集的更新策略，包括更新機制和更新頻度，如“每日全量更新”、“每周增量更新”等；ETL作業(yè)列表作業(yè)列表——由于ETL所開發(fā)的作業(yè)之間包含一定的業(yè)務邏輯和編碼邏輯，所以調度過程中應遵循一定的邏輯順序