商業(yè)智能實施方案報告書

1、商業(yè)智能實施方案,2024年2月14日,1、實施方法,2、實施步驟,,,,,數據倉庫管理,,,,,物理數據模型,,數據轉換,,應用開發(fā),,數據挖掘服務,系統(tǒng)體系結構設計,元數據管理,解決方案集成,,,,,項目具體實施步驟,項目前期準備,業(yè)務探索,信息探索,邏輯數據模型,1. 項目前期準備2. 業(yè)務探索（Business Discovery)3. 信息探索（Information Discovery)4. 邏輯數據模型設計5.

2、 系統(tǒng)體系結構設計6. 物理數據庫設計7. 數據轉換加載ETL8. 前端應用開發(fā)9. 數據挖掘服務10.元數據管理11.數據倉庫管理（處理流程與操作）12.解決方案集成（測試驗收與試運行）,2.1 項目前期準備,主要任務：– 項目啟動會議(Kick-off Meeting)– 確認項目范圍和主要目標– 確認項目階段性驗收及總體驗收標準– 確認項目實施計劃– 成立項目組– 確定各項目小組的成員及各自的工作職責–

3、 確定各項目小組的階段性工作目標– 確定教育訓練計劃– 確定服務流程及方式 交付項目：《項目組織機構》《項目人員組成》,,,,,,項目前期準備,業(yè)務探索,信息探索,邏輯數據模型,2.2 業(yè)務探索（Business Discovery),主要任務：– 確定重點用戶與數據源– 用戶需求調研與確認– 數據源確認– 用戶需求和數據源的篩選和分析 交付項目：《業(yè)務需求說明書BRL ( Business Requir

4、ement List )》《概念數據模型CDM （ Conceptual Data Model )》,,,,,,項目前期準備,業(yè)務探索,信息探索,邏輯數據模型,2.3 信息探索（Information Discovery),主要任務：– 分析用戶需求– 數據源分析– 進行工具評估– 系統(tǒng)安全性設計– 系統(tǒng)命名規(guī)范設計交付項目：《功能需求列表FRL ( Function Requirement List )》《系統(tǒng)

5、安全性設計說明書》 《系統(tǒng)命名規(guī)范說明書》《數據質量分析》,,,,,,項目前期準備,業(yè)務探索,信息探索,邏輯數據模型,2.4 邏輯數據模型設計,主要任務：– 進行原始數據分析– 建立實體模型– 建立實體間依賴關系– 完善并填入所有屬性– 建立數據庫邏輯模型 利用工具： Erwin/Power Designer交付項目： 數據倉庫邏輯數據模型LDM《邏輯數據模型說明書》,,,,,,項目前期準備,業(yè)務探索,信息

6、探索,邏輯數據模型,2.4 邏輯數據模型概念,邏輯數據模型是用來發(fā)現、記錄和溝通業(yè)務的詳細“藍圖”,基于概念數據模型（CDM）由一系列表和實體詳細描述組成通用的業(yè)務語言便于業(yè)務與業(yè)務之間的功能理解集成當前和未來數據的藍圖獨立于技術為物理數據庫設計作準備是IT人員和業(yè)務人員溝通的工具,2.4 邏輯數據模型(LDM)示例,2.5 系統(tǒng)體系結構設計,主要任務：對業(yè)務、技術環(huán)境及企業(yè)文化的充分了解，從技術、組織、教育和支持等方

7、面對系統(tǒng)進行全面評估定義業(yè)務驅動力定義數據倉庫成功的關鍵因素定義數據倉庫的實施原則對系統(tǒng)體系結構各個組件進行詳細設計交付項目：《系統(tǒng)體系結構設計說明書》,,,數據倉庫管理,,,,,物理數據模型,,數據轉換,,應用開發(fā),,數據挖掘服務,系統(tǒng)體系結構設計,元數據管理,解決方案集成,2.5 體系結構設計組件,用戶類型拓撲結構網絡存取與互連組織機構安全性數據體系結構邏輯數據模型元數據數據質量命名規(guī)范數據采

8、集與轉換用戶存取及工具備份系統(tǒng)操作管理,2.6 物理數據庫設計,主要任務：轉換邏輯數據模型（LDM）為物理數據模型定義主索引、次索引非正則化處理數據庫建立設計優(yōu)化數據庫功能測試使用工具：ERWwin交付項目： 物理數據模型（LDM）《物理數據模型說明書》《數據庫描述語言DDL》,建模方法： 第三范式 3NF 星型結構 雪花狀結構,,,數據倉庫管理,,,,,物理數據模型,,數據轉換,,應用開發(fā),

9、,數據挖掘服務,系統(tǒng)體系結構設計,元數據管理,解決方案集成,2.6 數據模型的演變,概念數據模型（ CDM – Conceptual Data Model ）主要實體和它們的關系 （Major Entities and Their Relationships）邏輯數據模型 （ LDM - Logical Data Model ）業(yè)務模型加（CDM Plus） :所有的表及簡單的數據（All Tables with Sampl

10、e Data）輔助的表及簡單的數據（ Minor Tables with Sample Data ）主鍵與外鍵的關系（ PK & FK Relationships ）數據約束（ Constraints ）屬性（ Attributes ）擴展邏輯數據模型 （ELDM - Extended Logical Data Model ）邏輯數據模型加（LDM Plus） :存取詳細描述（Access Demographic

11、s）數據詳細描述（Data Demographics）物理數據模型 （ PDM - Physical Data Model ）擴張邏輯數據模型（ELDM Plus）:索引 （Indices）非正則化 （Denormalization）,2.6 非正則化處理 ( Denormalization ),非正則化的兩種類型：物理非正則化派生數據 （Derived Data）匯總表 （Summary Tables）重復的Gro

12、ups ( Repeating Groups) 多物理表 （Multiple Physical Tables）預連接 （Pre-joins）子實體 （Sub-entities）邏輯非正則化視圖 （Views）邏輯星型結構 （Logical Star Schemas）物理非正則化對模型的靈活性會有影響邏輯非正則化是一個優(yōu)選的方法（OLAP實現）,2.6 物理數據模型（PDM）,2.7 數據轉換與加載（ETL）,主要任務

13、：數據源及其特性定義數據析取、轉換和加載策略設計構建和測試初始加載的程序和處理流程構建和測試日常加載的程序和處理流程40%的工作量在數據轉換與加載上使用工具：Sagent或Datastage、Informatic交付項目：《 數據轉換加載設計說明書》《數據映射 （Data Mapping）說明書 》 數據轉換加載腳本 （ ETL Scripts) 加載流程控制（ ETL Process Control),

14、,,數據倉庫管理,,,,,物理數據模型,,數據轉換,,應用開發(fā),,數據挖掘服務,系統(tǒng)體系結構設計,元數據管理,解決方案集成,2.7 數據清洗方法,在源系統(tǒng)上進行清洗（數據析取前）在加載服務器上進行清洗（數據析取后、加載前）在數據倉庫里進行清洗（數據加載后）,,,源系統(tǒng),ETL服務器,數據倉庫,,2.7 數據轉換常用手段,,析取 Extracting 條件 Conditioning 剔除 Scrubbing 合并 Me

15、rging 濃縮 Enrichment 確認 Validating 加載 Loading 評分 Scoring 關系識別 House holding,2.8 前端應用開發(fā),,主要任務：前端應用體系結構設計OLAP應用設計(Summary/Fact表及Cub的產生）前端應用開發(fā)（隨機查詢、預定義報表、 OLAP應用）撰寫用戶使用手冊用戶測試驗收使用工具：查詢報表工具(Hyperion performance su

16、it)OLAP工具（Essbase)基于Web的開發(fā)工具(J2EE)其他開發(fā)工具,如: Portal交付項目：《前端應用體系結構設計說明書》《應用模塊設計說明書 》《用戶使用手冊 》,,,數據倉庫管理,,,,,物理數據模型,,數據轉換,,應用開發(fā),,數據挖掘服務,系統(tǒng)體系結構設計,元數據管理,解決方案集成,2.10 元數據管理,元數據(Metadata) 是指關于數據的數據，即用來描述數據的類型、來源、定義、存儲位置

17、，使得業(yè)務用戶可以正確地使用數據倉庫。,主要任務：定義元數據使用功能設計元數據環(huán)境邏輯結構設計元數據環(huán)境物理結構選擇合適的元數據管理工具建立元數據倉庫（Metadata Repository)建立和測試元數據接口使用工具：ETL TOOLS交付項目：《 元數據管理說明書》,,,數據倉庫管理,,,,,物理數據模型,,數據轉換,,應用開發(fā),,數據挖掘服務,系統(tǒng)體系結構設計,元數據管理,解決方案集成,2.10 元數

18、據開發(fā),元數據的開發(fā)應該包含在數據倉庫實施過程的每一步驟中，下圖是元數據各部分內容與數據倉庫開發(fā)過程的對應關系：,2.11 數據倉庫管理,主要任務：設計和開發(fā)數據倉庫支持體系結構開發(fā)和測試數據倉庫日常運作流程開發(fā)和測試性能監(jiān)視程序開發(fā)和測試數據備份與恢復程序開發(fā)和測試安全系統(tǒng)設計和開發(fā)操作人員/最終用戶培訓計劃建立用戶支持和培訓材料使用工具：系統(tǒng)監(jiān)控工具和管理工具交付項目：《數據倉庫管理過程說明書》《數據備份

19、過程設計說明書》《安全管理模塊設計說明書》《用戶培訓計劃》及《用戶使用手冊》,,,數據倉庫管理,,,,,物理數據模型,,數據轉換,,應用開發(fā),,數據挖掘服務,系統(tǒng)體系結構設計,元數據管理,解決方案集成,2.12 解決方案集成,主要任務：建立并執(zhí)行集成測試計劃建立并執(zhí)行數據倉庫平臺測試計劃建立并執(zhí)行系統(tǒng)驗收測試計劃移植開發(fā)系統(tǒng)到生產系統(tǒng)執(zhí)行用戶培訓計劃實施數據倉庫管理基礎設施項目實施完成回顧項目狀態(tài)交付項目：

20、《數據轉換管理系統(tǒng)測試報告》《數據訪問和信息發(fā)布系統(tǒng)測試報告》《數據倉庫平臺測試報告》《數據倉庫管理過程測試報告》《系統(tǒng)回顧報告》,,,數據倉庫管理,,,,,物理數據模型,,數據轉換,,應用開發(fā),,數據挖掘服務,系統(tǒng)體系結構設計,元數據管理,解決方案集成,總結：主要步驟及文檔間關系,Business Discovery (業(yè)務探索) 業(yè)務需求說明書(BRL) 概念數據模型(CDM),物理數據庫設計 物理數據模型 (P

21、DM) 數據庫描述語言(DDL) 數據轉換加載(ETL) 數據加載設計說明書 數據映射 （Data Mapping) 轉換加載腳本 （ ETL Scripts) 加載流程控制（ ETL Control) 前端應用設計 前端應用體系結構 前端應用設計說明書 Summary / Fact 表設計 Summary / Fact 數據生成 OLAP設計 應用開發(fā) 應用集成,Information Discove