商業(yè)智能實(shí)施方案報(bào)告書(shū)

1、商業(yè)智能實(shí)施方案,2024年2月14日,1、實(shí)施方法,2、實(shí)施步驟,,,,,數(shù)據(jù)倉(cāng)庫(kù)管理,,,,,物理數(shù)據(jù)模型,,數(shù)據(jù)轉(zhuǎn)換,,應(yīng)用開(kāi)發(fā),,數(shù)據(jù)挖掘服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,,,,,項(xiàng)目具體實(shí)施步驟,項(xiàng)目前期準(zhǔn)備,業(yè)務(wù)探索,信息探索,邏輯數(shù)據(jù)模型,1. 項(xiàng)目前期準(zhǔn)備2. 業(yè)務(wù)探索（Business Discovery)3. 信息探索（Information Discovery)4. 邏輯數(shù)據(jù)模型設(shè)計(jì)5.

2、 系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)6. 物理數(shù)據(jù)庫(kù)設(shè)計(jì)7. 數(shù)據(jù)轉(zhuǎn)換加載ETL8. 前端應(yīng)用開(kāi)發(fā)9. 數(shù)據(jù)挖掘服務(wù)10.元數(shù)據(jù)管理11.數(shù)據(jù)倉(cāng)庫(kù)管理（處理流程與操作）12.解決方案集成（測(cè)試驗(yàn)收與試運(yùn)行）,2.1 項(xiàng)目前期準(zhǔn)備,主要任務(wù)：– 項(xiàng)目啟動(dòng)會(huì)議(Kick-off Meeting)– 確認(rèn)項(xiàng)目范圍和主要目標(biāo)– 確認(rèn)項(xiàng)目階段性驗(yàn)收及總體驗(yàn)收標(biāo)準(zhǔn)– 確認(rèn)項(xiàng)目實(shí)施計(jì)劃– 成立項(xiàng)目組– 確定各項(xiàng)目小組的成員及各自的工作職責(zé)–

3、 確定各項(xiàng)目小組的階段性工作目標(biāo)– 確定教育訓(xùn)練計(jì)劃– 確定服務(wù)流程及方式 交付項(xiàng)目：《項(xiàng)目組織機(jī)構(gòu)》《項(xiàng)目人員組成》,,,,,,項(xiàng)目前期準(zhǔn)備,業(yè)務(wù)探索,信息探索,邏輯數(shù)據(jù)模型,2.2 業(yè)務(wù)探索（Business Discovery),主要任務(wù)：– 確定重點(diǎn)用戶(hù)與數(shù)據(jù)源– 用戶(hù)需求調(diào)研與確認(rèn)– 數(shù)據(jù)源確認(rèn)– 用戶(hù)需求和數(shù)據(jù)源的篩選和分析 交付項(xiàng)目：《業(yè)務(wù)需求說(shuō)明書(shū)B(niǎo)RL ( Business Requir

4、ement List )》《概念數(shù)據(jù)模型CDM （ Conceptual Data Model )》,,,,,,項(xiàng)目前期準(zhǔn)備,業(yè)務(wù)探索,信息探索,邏輯數(shù)據(jù)模型,2.3 信息探索（Information Discovery),主要任務(wù)：– 分析用戶(hù)需求– 數(shù)據(jù)源分析– 進(jìn)行工具評(píng)估– 系統(tǒng)安全性設(shè)計(jì)– 系統(tǒng)命名規(guī)范設(shè)計(jì)交付項(xiàng)目：《功能需求列表FRL ( Function Requirement List )》《系統(tǒng)

5、安全性設(shè)計(jì)說(shuō)明書(shū)》 《系統(tǒng)命名規(guī)范說(shuō)明書(shū)》《數(shù)據(jù)質(zhì)量分析》,,,,,,項(xiàng)目前期準(zhǔn)備,業(yè)務(wù)探索,信息探索,邏輯數(shù)據(jù)模型,2.4 邏輯數(shù)據(jù)模型設(shè)計(jì),主要任務(wù)：– 進(jìn)行原始數(shù)據(jù)分析– 建立實(shí)體模型– 建立實(shí)體間依賴(lài)關(guān)系– 完善并填入所有屬性– 建立數(shù)據(jù)庫(kù)邏輯模型 利用工具： Erwin/Power Designer交付項(xiàng)目： 數(shù)據(jù)倉(cāng)庫(kù)邏輯數(shù)據(jù)模型LDM《邏輯數(shù)據(jù)模型說(shuō)明書(shū)》,,,,,,項(xiàng)目前期準(zhǔn)備,業(yè)務(wù)探索,信息

6、探索,邏輯數(shù)據(jù)模型,2.4 邏輯數(shù)據(jù)模型概念,邏輯數(shù)據(jù)模型是用來(lái)發(fā)現(xiàn)、記錄和溝通業(yè)務(wù)的詳細(xì)“藍(lán)圖”,基于概念數(shù)據(jù)模型（CDM）由一系列表和實(shí)體詳細(xì)描述組成通用的業(yè)務(wù)語(yǔ)言便于業(yè)務(wù)與業(yè)務(wù)之間的功能理解集成當(dāng)前和未來(lái)數(shù)據(jù)的藍(lán)圖獨(dú)立于技術(shù)為物理數(shù)據(jù)庫(kù)設(shè)計(jì)作準(zhǔn)備是IT人員和業(yè)務(wù)人員溝通的工具,2.4 邏輯數(shù)據(jù)模型(LDM)示例,2.5 系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),主要任務(wù)：對(duì)業(yè)務(wù)、技術(shù)環(huán)境及企業(yè)文化的充分了解，從技術(shù)、組織、教育和支持等方

7、面對(duì)系統(tǒng)進(jìn)行全面評(píng)估定義業(yè)務(wù)驅(qū)動(dòng)力定義數(shù)據(jù)倉(cāng)庫(kù)成功的關(guān)鍵因素定義數(shù)據(jù)倉(cāng)庫(kù)的實(shí)施原則對(duì)系統(tǒng)體系結(jié)構(gòu)各個(gè)組件進(jìn)行詳細(xì)設(shè)計(jì)交付項(xiàng)目：《系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)說(shuō)明書(shū)》,,,數(shù)據(jù)倉(cāng)庫(kù)管理,,,,,物理數(shù)據(jù)模型,,數(shù)據(jù)轉(zhuǎn)換,,應(yīng)用開(kāi)發(fā),,數(shù)據(jù)挖掘服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,2.5 體系結(jié)構(gòu)設(shè)計(jì)組件,用戶(hù)類(lèi)型拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)存取與互連組織機(jī)構(gòu)安全性數(shù)據(jù)體系結(jié)構(gòu)邏輯數(shù)據(jù)模型元數(shù)據(jù)數(shù)據(jù)質(zhì)量命名規(guī)范數(shù)據(jù)采

8、集與轉(zhuǎn)換用戶(hù)存取及工具備份系統(tǒng)操作管理,2.6 物理數(shù)據(jù)庫(kù)設(shè)計(jì),主要任務(wù)：轉(zhuǎn)換邏輯數(shù)據(jù)模型（LDM）為物理數(shù)據(jù)模型定義主索引、次索引非正則化處理數(shù)據(jù)庫(kù)建立設(shè)計(jì)優(yōu)化數(shù)據(jù)庫(kù)功能測(cè)試使用工具：ERWwin交付項(xiàng)目： 物理數(shù)據(jù)模型（LDM）《物理數(shù)據(jù)模型說(shuō)明書(shū)》《數(shù)據(jù)庫(kù)描述語(yǔ)言DDL》,建模方法： 第三范式 3NF 星型結(jié)構(gòu) 雪花狀結(jié)構(gòu),,,數(shù)據(jù)倉(cāng)庫(kù)管理,,,,,物理數(shù)據(jù)模型,,數(shù)據(jù)轉(zhuǎn)換,,應(yīng)用開(kāi)發(fā),

9、,數(shù)據(jù)挖掘服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,2.6 數(shù)據(jù)模型的演變,概念數(shù)據(jù)模型（ CDM – Conceptual Data Model ）主要實(shí)體和它們的關(guān)系 （Major Entities and Their Relationships）邏輯數(shù)據(jù)模型 （ LDM - Logical Data Model ）業(yè)務(wù)模型加（CDM Plus） :所有的表及簡(jiǎn)單的數(shù)據(jù)（All Tables with Sampl

10、e Data）輔助的表及簡(jiǎn)單的數(shù)據(jù)（ Minor Tables with Sample Data ）主鍵與外鍵的關(guān)系（ PK & FK Relationships ）數(shù)據(jù)約束（ Constraints ）屬性（ Attributes ）擴(kuò)展邏輯數(shù)據(jù)模型 （ELDM - Extended Logical Data Model ）邏輯數(shù)據(jù)模型加（LDM Plus） :存取詳細(xì)描述（Access Demographic

11、s）數(shù)據(jù)詳細(xì)描述（Data Demographics）物理數(shù)據(jù)模型 （ PDM - Physical Data Model ）擴(kuò)張邏輯數(shù)據(jù)模型（ELDM Plus）:索引 （Indices）非正則化 （Denormalization）,2.6 非正則化處理 ( Denormalization ),非正則化的兩種類(lèi)型：物理非正則化派生數(shù)據(jù) （Derived Data）匯總表 （Summary Tables）重復(fù)的Gro

12、ups ( Repeating Groups) 多物理表 （Multiple Physical Tables）預(yù)連接 （Pre-joins）子實(shí)體 （Sub-entities）邏輯非正則化視圖 （Views）邏輯星型結(jié)構(gòu) （Logical Star Schemas）物理非正則化對(duì)模型的靈活性會(huì)有影響邏輯非正則化是一個(gè)優(yōu)選的方法（OLAP實(shí)現(xiàn)）,2.6 物理數(shù)據(jù)模型（PDM）,2.7 數(shù)據(jù)轉(zhuǎn)換與加載（ETL）,主要任務(wù)

13、：數(shù)據(jù)源及其特性定義數(shù)據(jù)析取、轉(zhuǎn)換和加載策略設(shè)計(jì)構(gòu)建和測(cè)試初始加載的程序和處理流程構(gòu)建和測(cè)試日常加載的程序和處理流程40%的工作量在數(shù)據(jù)轉(zhuǎn)換與加載上使用工具：Sagent或Datastage、Informatic交付項(xiàng)目：《 數(shù)據(jù)轉(zhuǎn)換加載設(shè)計(jì)說(shuō)明書(shū)》《數(shù)據(jù)映射 （Data Mapping）說(shuō)明書(shū) 》 數(shù)據(jù)轉(zhuǎn)換加載腳本 （ ETL Scripts) 加載流程控制（ ETL Process Control),

14、,,數(shù)據(jù)倉(cāng)庫(kù)管理,,,,,物理數(shù)據(jù)模型,,數(shù)據(jù)轉(zhuǎn)換,,應(yīng)用開(kāi)發(fā),,數(shù)據(jù)挖掘服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,2.7 數(shù)據(jù)清洗方法,在源系統(tǒng)上進(jìn)行清洗（數(shù)據(jù)析取前）在加載服務(wù)器上進(jìn)行清洗（數(shù)據(jù)析取后、加載前）在數(shù)據(jù)倉(cāng)庫(kù)里進(jìn)行清洗（數(shù)據(jù)加載后）,,,源系統(tǒng),ETL服務(wù)器,數(shù)據(jù)倉(cāng)庫(kù),,2.7 數(shù)據(jù)轉(zhuǎn)換常用手段,,析取 Extracting 條件 Conditioning 剔除 Scrubbing 合并 Me

15、rging 濃縮 Enrichment 確認(rèn) Validating 加載 Loading 評(píng)分 Scoring 關(guān)系識(shí)別 House holding,2.8 前端應(yīng)用開(kāi)發(fā),,主要任務(wù)：前端應(yīng)用體系結(jié)構(gòu)設(shè)計(jì)OLAP應(yīng)用設(shè)計(jì)(Summary/Fact表及Cub的產(chǎn)生）前端應(yīng)用開(kāi)發(fā)（隨機(jī)查詢(xún)、預(yù)定義報(bào)表、 OLAP應(yīng)用）撰寫(xiě)用戶(hù)使用手冊(cè)用戶(hù)測(cè)試驗(yàn)收使用工具：查詢(xún)報(bào)表工具(Hyperion performance su

16、it)OLAP工具（Essbase)基于Web的開(kāi)發(fā)工具(J2EE)其他開(kāi)發(fā)工具,如: Portal交付項(xiàng)目：《前端應(yīng)用體系結(jié)構(gòu)設(shè)計(jì)說(shuō)明書(shū)》《應(yīng)用模塊設(shè)計(jì)說(shuō)明書(shū) 》《用戶(hù)使用手冊(cè) 》,,,數(shù)據(jù)倉(cāng)庫(kù)管理,,,,,物理數(shù)據(jù)模型,,數(shù)據(jù)轉(zhuǎn)換,,應(yīng)用開(kāi)發(fā),,數(shù)據(jù)挖掘服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,2.10 元數(shù)據(jù)管理,元數(shù)據(jù)(Metadata) 是指關(guān)于數(shù)據(jù)的數(shù)據(jù)，即用來(lái)描述數(shù)據(jù)的類(lèi)型、來(lái)源、定義、存儲(chǔ)位置

17、，使得業(yè)務(wù)用戶(hù)可以正確地使用數(shù)據(jù)倉(cāng)庫(kù)。,主要任務(wù)：定義元數(shù)據(jù)使用功能設(shè)計(jì)元數(shù)據(jù)環(huán)境邏輯結(jié)構(gòu)設(shè)計(jì)元數(shù)據(jù)環(huán)境物理結(jié)構(gòu)選擇合適的元數(shù)據(jù)管理工具建立元數(shù)據(jù)倉(cāng)庫(kù)（Metadata Repository)建立和測(cè)試元數(shù)據(jù)接口使用工具：ETL TOOLS交付項(xiàng)目：《 元數(shù)據(jù)管理說(shuō)明書(shū)》,,,數(shù)據(jù)倉(cāng)庫(kù)管理,,,,,物理數(shù)據(jù)模型,,數(shù)據(jù)轉(zhuǎn)換,,應(yīng)用開(kāi)發(fā),,數(shù)據(jù)挖掘服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,2.10 元數(shù)

18、據(jù)開(kāi)發(fā),元數(shù)據(jù)的開(kāi)發(fā)應(yīng)該包含在數(shù)據(jù)倉(cāng)庫(kù)實(shí)施過(guò)程的每一步驟中，下圖是元數(shù)據(jù)各部分內(nèi)容與數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)過(guò)程的對(duì)應(yīng)關(guān)系：,2.11 數(shù)據(jù)倉(cāng)庫(kù)管理,主要任務(wù)：設(shè)計(jì)和開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)支持體系結(jié)構(gòu)開(kāi)發(fā)和測(cè)試數(shù)據(jù)倉(cāng)庫(kù)日常運(yùn)作流程開(kāi)發(fā)和測(cè)試性能監(jiān)視程序開(kāi)發(fā)和測(cè)試數(shù)據(jù)備份與恢復(fù)程序開(kāi)發(fā)和測(cè)試安全系統(tǒng)設(shè)計(jì)和開(kāi)發(fā)操作人員/最終用戶(hù)培訓(xùn)計(jì)劃建立用戶(hù)支持和培訓(xùn)材料使用工具：系統(tǒng)監(jiān)控工具和管理工具交付項(xiàng)目：《數(shù)據(jù)倉(cāng)庫(kù)管理過(guò)程說(shuō)明書(shū)》《數(shù)據(jù)備份

19、過(guò)程設(shè)計(jì)說(shuō)明書(shū)》《安全管理模塊設(shè)計(jì)說(shuō)明書(shū)》《用戶(hù)培訓(xùn)計(jì)劃》及《用戶(hù)使用手冊(cè)》,,,數(shù)據(jù)倉(cāng)庫(kù)管理,,,,,物理數(shù)據(jù)模型,,數(shù)據(jù)轉(zhuǎn)換,,應(yīng)用開(kāi)發(fā),,數(shù)據(jù)挖掘服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,2.12 解決方案集成,主要任務(wù)：建立并執(zhí)行集成測(cè)試計(jì)劃建立并執(zhí)行數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)測(cè)試計(jì)劃建立并執(zhí)行系統(tǒng)驗(yàn)收測(cè)試計(jì)劃移植開(kāi)發(fā)系統(tǒng)到生產(chǎn)系統(tǒng)執(zhí)行用戶(hù)培訓(xùn)計(jì)劃實(shí)施數(shù)據(jù)倉(cāng)庫(kù)管理基礎(chǔ)設(shè)施項(xiàng)目實(shí)施完成回顧項(xiàng)目狀態(tài)交付項(xiàng)目：

20、《數(shù)據(jù)轉(zhuǎn)換管理系統(tǒng)測(cè)試報(bào)告》《數(shù)據(jù)訪(fǎng)問(wèn)和信息發(fā)布系統(tǒng)測(cè)試報(bào)告》《數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)測(cè)試報(bào)告》《數(shù)據(jù)倉(cāng)庫(kù)管理過(guò)程測(cè)試報(bào)告》《系統(tǒng)回顧報(bào)告》,,,數(shù)據(jù)倉(cāng)庫(kù)管理,,,,,物理數(shù)據(jù)模型,,數(shù)據(jù)轉(zhuǎn)換,,應(yīng)用開(kāi)發(fā),,數(shù)據(jù)挖掘服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,總結(jié)：主要步驟及文檔間關(guān)系,Business Discovery (業(yè)務(wù)探索) 業(yè)務(wù)需求說(shuō)明書(shū)(BRL) 概念數(shù)據(jù)模型(CDM),物理數(shù)據(jù)庫(kù)設(shè)計(jì) 物理數(shù)據(jù)模型 (P

21、DM) 數(shù)據(jù)庫(kù)描述語(yǔ)言(DDL) 數(shù)據(jù)轉(zhuǎn)換加載(ETL) 數(shù)據(jù)加載設(shè)計(jì)說(shuō)明書(shū) 數(shù)據(jù)映射 （Data Mapping) 轉(zhuǎn)換加載腳本 （ ETL Scripts) 加載流程控制（ ETL Control) 前端應(yīng)用設(shè)計(jì) 前端應(yīng)用體系結(jié)構(gòu) 前端應(yīng)用設(shè)計(jì)說(shuō)明書(shū) Summary / Fact 表設(shè)計(jì) Summary / Fact 數(shù)據(jù)生成 OLAP設(shè)計(jì) 應(yīng)用開(kāi)發(fā) 應(yīng)用集成,Information Discove