ibm電信業(yè)商業(yè)智能解決方案

1、IBM電信業(yè)商業(yè)智能解決方案,,議程,數(shù)據(jù)分析與決策支持系統(tǒng)面臨的挑戰(zhàn)IBM 商業(yè)智能解決方案簡介IBM 方案優(yōu)勢,電信企業(yè)的需要,帳務(wù)統(tǒng)計收益分析網(wǎng)絡(luò)、基站運維分析績效考核客戶關(guān)系管理風(fēng)險預(yù)測市場競爭分析......,帳務(wù)統(tǒng)計、分析,日、月統(tǒng)計報表月結(jié)算報表營業(yè)收入統(tǒng)計、分析資費來源統(tǒng)計、分析業(yè)務(wù)量統(tǒng)計、分析......,收益情況分析,收入總量分析及預(yù)測收入增量分析及預(yù)測ARPU分析及預(yù)測收入結(jié)構(gòu)分析

2、及預(yù)測大客戶收入情況分析及預(yù)測客戶交費情況分析及預(yù)測客戶欠費情況及其結(jié)構(gòu)分析及預(yù)測新增客戶交/欠費情況分析及預(yù)測欠費回收情況分析高額/欺詐分析銷賬分析,市場競爭分析,市場占有率分析及預(yù)測市場需求分析及預(yù)測競爭對手發(fā)展情況分析及預(yù)測各競爭對手的市場營銷分析供應(yīng)商市場行為特征分析合作商市場行為特性分析,業(yè)務(wù)發(fā)展分析,業(yè)務(wù)量發(fā)展分析及預(yù)測業(yè)務(wù)增量分析及預(yù)測MOU分析及預(yù)測新業(yè)務(wù)使用量分析及預(yù)測業(yè)務(wù)資源使用特征分

3、析及預(yù)測大客戶使用業(yè)務(wù)量的特征分析及預(yù)測大客戶使用業(yè)務(wù)的特征分析及預(yù)測流量和流向特征分析及預(yù)測,客戶分析,客戶總量分析及預(yù)測新增客戶分析及預(yù)測客戶凈增量分析及預(yù)測客戶流失量分析及預(yù)測客戶轉(zhuǎn)網(wǎng)量分析及預(yù)測大客戶發(fā)展分析及預(yù)測客戶消費能力分析及預(yù)測客戶消費習(xí)慣/愛好分析及預(yù)測客戶信用度分析外來用戶分析模擬用戶分析儲值卡用戶分析潛在用戶分析零次用戶分析一戶多卡用戶分析,客戶關(guān)系管理及市場策略,發(fā)現(xiàn)優(yōu)秀客戶發(fā)現(xiàn)

4、易流失客戶群調(diào)整產(chǎn)品定價發(fā)現(xiàn)客戶行為模式開發(fā)新產(chǎn)品交叉銷售......,網(wǎng)絡(luò)、基站分析,基站配置與話務(wù)量分布情況分析分析各時段各基站/交換機(jī)的負(fù)載情況網(wǎng)絡(luò)收益分析網(wǎng)絡(luò)容量分析網(wǎng)絡(luò)安全分析熱點小區(qū)分析路由分析等,服務(wù)質(zhì)量分析,客戶服務(wù)質(zhì)量分析客戶服務(wù)時限分析客戶咨詢查詢焦點分析客戶投訴焦點分析大客戶服務(wù)質(zhì)量分析客戶滿意度分析客戶忠誠度分析,營銷管理分析,市場價格分析營銷渠道作用分析代銷代辦酬金分析

5、營銷人員素質(zhì)分析營銷宣傳市場效果分析促銷行為市場效果分析,綜合決策分析,決策取向模擬分析決策行為市場操作模擬分析決策行為市場效果模擬分析,績效考核,分公司績效考核營業(yè)部績效考核營業(yè)員績效考核......,當(dāng)前狀態(tài),,,,,,,,,,營業(yè)系統(tǒng),結(jié)算報表,CRM,局長信息系統(tǒng),挑戰(zhàn)：信息孤島,,,,,,,,,,,,,,,,,,,財務(wù)系統(tǒng),市場促銷數(shù)據(jù),客戶數(shù)據(jù),營業(yè)數(shù)據(jù),呼叫中心數(shù)據(jù),建立數(shù)據(jù)倉庫、實施商業(yè)智能,,,,,生產(chǎn)系

6、統(tǒng),數(shù)據(jù)倉庫,OLAP,智能挖掘,如何實施商業(yè)智能,IBM BI 解決方案產(chǎn)品,IBM BI體系結(jié)構(gòu),,,,什么是數(shù)據(jù)倉庫,數(shù)據(jù)倉庫是指從業(yè)務(wù)數(shù)據(jù)中創(chuàng)建信息數(shù)據(jù)庫，并針對決策和分析進(jìn)行優(yōu)化。 數(shù)據(jù)倉庫中的信息是面向主題的、集成化的、穩(wěn)定的、隨時間變化的數(shù)據(jù)集合，用以支持管理決策的過程。數(shù)據(jù)來自多個數(shù)據(jù)源，并整合到一個數(shù)據(jù)庫中。在數(shù)據(jù)整合的過程中數(shù)據(jù)要經(jīng)過聚合、摘要和清洗。,不同的數(shù)據(jù)用于不同的目的,面向主題集成比較穩(wěn)定包含

7、歷史數(shù)據(jù)支持管理決策,面向應(yīng)用有限集成經(jīng)常更新僅有當(dāng)前值支持日常業(yè)務(wù)運作,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,業(yè)務(wù)數(shù)據(jù),信息數(shù)據(jù),,,,業(yè)務(wù)數(shù)據(jù)和信息數(shù)據(jù)根本不同！,"Trust&q

8、uot;Accounts,"Checking"Accounts,"Loan"Accounts,"Loan"Accounts,年,月,日,Account History,建立數(shù)據(jù)倉庫的過程,DB2 Data Warehouse體系結(jié)構(gòu),,,,數(shù)據(jù)倉庫代理(Agent)技術(shù),數(shù)據(jù)倉庫控制服務(wù)器(Warehouse Control Server)時間表啟動從控制數(shù)據(jù)庫中獲

9、取商業(yè)視圖定義啟動代理(通過代理后臺進(jìn)程)循環(huán) : - 接受和記錄結(jié)果 - 更新客戶端顯示,數(shù)據(jù)倉庫代理(Agent)響應(yīng)VW管理器循環(huán) : - 接受命令 - 執(zhí)行命令 - 報告狀態(tài),DB2 UDB高度并行的海量數(shù)據(jù)庫,SQL Query,Query Optimizer,Best Query Plan,Threaded Code,,,,,,,,,Compile -Time,,,,,Run - Time,

10、Agent,Agent,Agent,Prefetchers,Single query involves1 coordinating agentn sub agentsm prefetchers (shared)All executing in parallel on available processorsCombination of...Data parallelismEach agent works on subse

11、t of dataData dynamically assigned so user not required to partition dataFunctional parallelism ("pipelining")Each agent works on different query function, e.g. scan, sortAlso enablesParallel Index Create

12、Parallel Backup and RestoreAllows multiple processes to read or write data to/from the databaseParallel LOADExploitation of multiple processors during load, particularly for parsing/converting/formatting data,節(jié)點內(nèi)部并行,P

13、arallel Edition - style (shared-nothing) Data parallelism through hash partitioningPartitions can be... Physical on MPP or clusterLogical on SMP,,,,,,Run - Time,Agent,Prefetchers,,,,,,Agent,Prefetchers,,,,,,Agent,Pre

14、fetchers,,node 0,node 1,node n,SQL Query,Query Optimizer,Best Query Plan,Threaded Code,,Compile -Time,,,,,節(jié)點間并行(數(shù)據(jù)庫分區(qū)間并行),,,,,,,,,,,,,,.,.,.,.,.,.,.,.,,.,.,.,.,.,.,.,.,,,,,,,,,,,,,,.,.,.,.,.,.,.,.,,.,.,.,.,.,.,.,.,,,,,,,

15、,,,,,,,.,.,.,.,.,.,.,.,,.,.,.,.,.,.,.,.,,,,,,,,,,,,,,.,.,.,.,.,.,.,.,,.,.,.,.,.,.,.,.,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,Single Database Vie

16、w,Parallel Optimizer,UserQuery,Node(CPU),Node(CPU),Node(CPU),Node(CPU),,,,,,,Shared-nothing software architecture supportsIndependent physical nodesSeparate CPU, memory, and diskIncluding SMP nodesORMu

17、ltiple logical database partitions on single large SMP ServerInterpartition communication is cross memory, not cross networkData is partitioned across nodes automatically by hashingEverything operates in parallelSele

18、ctInsertUpdateDelete,Backup/restoreLoadCreate indexReorg,充分利用分區(qū)數(shù)據(jù)庫的能力,,Social Insurance Number,Name,Location,123-456-789,JoeBoston,Toronto,,,Partition Key value Hashed to: "8",VectorPosition,0,1,2,3,4,5,

19、6,7,8,9,10,11,12,...,Node,1,2,3,1,2,3,1,2,3,1,2,3,1,...,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,DB2,,,,DB2,,,,DB2,,,,Partition MapDetermines 'home' for rowCan be adjusted for data skew using the REDISTRIBU

20、TE utility,Hash分區(qū)和分區(qū)映射表,Blends best of MPP and SMP style of parallelismIdeal for SMP clustersMost flexible hardware supportLeading Edge Query Optimizer!,,Run - Time,,node 0,,,,,,,Agent,Agent,Agent,Prefetchers,,node 1,

21、,,,,,,Agent,Agent,Agent,Prefetchers,,node 2,,,,,,,Agent,Agent,Agent,Prefetchers,SQL Query,Query Optimizer,Best Query Plan,Threaded Code,Compile -Time,,,,,,分區(qū)內(nèi)及分區(qū)間并行,DB2 UDB: 更大的容量,表/視圖/列/別名長度增加名字更容易記憶更容易移植SQL語句長度可達(dá)64K

22、B更復(fù)雜的查詢和分類(如數(shù)據(jù)挖掘)由工具自動生成的語句VARCHAR大小可以達(dá)到32KB更小依賴LONG VARCHAR，節(jié)省空間并提高性能最大表/表空間大小64GB/128GB/256GB/512GB可以生成更大的表而不需要分區(qū)(partition)索引字段總長度達(dá)1024byte可以對更多/更長的字段加索引,DB2 UDB: 優(yōu)化技術(shù),優(yōu)化級別0-9查詢重寫增加隱含的條件一般條件下壓(pushdown)子查詢

23、該為JOIN消除不必要的JOIN將量化的條件轉(zhuǎn)化為標(biāo)量子查詢將OR轉(zhuǎn)為IN將IN轉(zhuǎn)為JOIN視圖合并消除不必要的DISTINCT,優(yōu)化器擴(kuò)展減少限制RID列表排序Index Oring執(zhí)行計劃分析避免Cartesian積增強(qiáng)的JOIN大小估計非統(tǒng)一的分布式統(tǒng)計I/O統(tǒng)計對隨機(jī)和順序I/O不同處理鎖優(yōu)化可修正的CPU和I/O成本估算可更新的目錄統(tǒng)計,DB2 UDB與商業(yè)智能集成,新的統(tǒng)計函數(shù)頁面大?。?/p>

24、4KB, 8KB, 16KB, 32KB更小的I/O，減少索引的層次優(yōu)化器可以利用多個緩沖池(與頁面大小)更多的利用星型連接優(yōu)化利用星型連接設(shè)計的數(shù)據(jù)庫性能更好對數(shù)據(jù)倉庫的增強(qiáng)數(shù)據(jù)加載過程中自動建立索引LOAD TERMINATE/RESTART選項LOAD時遞增的建立索引利用LOAD INSERT將數(shù)據(jù)附加到已經(jīng)存在數(shù)據(jù)的表中,易用的管理工具,,,DB2 Connect Enterprise Edition,,,,,

25、,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,DRDA-Compliant Server,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

26、,,,,,,,,,,,,,,,,,,,,,,,,,,,,,Data ReplicationCaptureApply,VisualAge for Java,DB2 Extenders,Visual Explain,Developers,Client Configuration Assistant,Users,DB2 Discovery,Administrator,Command Center (GUI CLP),DB2 UDB Ser

27、ver,DB2 UDB Server,Governor,Control Center and Utilities,Performance Monitor,Job Scheduler,Performance SmartGuide,Network Configuration SmartGuide,Administration Server,Satellite Administration,集成化的圖形界面管理工具,Control Cente

28、r,Command Center,Performance Monitor,Performance Smart Guide,Index SmartGuide,Other Tools Integrated with the DB2 Control Center,DB2 Script CenterAllows users to create and schedule scripts for regular database activiti

29、esDB2 JournalProvides users with a view of activities which have occured in the DBMSDB2 License CenterAllows users to monitor license complianceDB2 Information CenterProvides users with the entire DB2 UDB Technical

30、 Library onlineServer Communications (Network) Configuration AssistantAutomates set up of server for communication with clientsClient Configuration AssistantDatabase connection configuration and testingCan request t

31、hat DB2 Discovery search network for databases ODBC administrationDB2 DiscoverySearches for DB2 servers and databases over the networkReturns information required for connection to client,DB2家族產(chǎn)品——全面解決方案,,,,,,,,,,,,,

32、,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,TCP/IPIPX/SPXNETBIOS,DOSWINDOWSWinNTWin95Win98OS/2AIXHP-UXSCOSUN SolarisSNI SINIXSGI IrixMACWeb Browsers,Clients,DB2 for OS/400DB2 for AIXDB2 for OS

33、/2DB2 for HP-UXDB2 for HP-UX 11.0DB2 for SUN SolarisDB2 for SINIXDB2 for NTDB2 for SCODB2 for SCO Unixware 7,Servers,DB2 ConnectDatajoinerNet.Data,Middleware,Parallel Complexes,DB2 UDB EEE for AIXDB2 UDB EEE fo

34、r SUN SolarisDB2 UDB EEE for Windows NTDB2 UDB for OS/390DB2 for OS/400,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

35、,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,Personal,DB2 for OS/2DB2 for WinNTDB2 for Win95DB2 for Win98Lotus ApproachSatellite EditionDB2 Everywhere,,,,,,,,,,,,,,,,

36、,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

37、,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,OracleSybaseInformixSQL ServerIMS VSAM,Sources,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,Tivoli TME-10

38、Satellite Edition,Management,Hosts,DB2 UDB for OS/390DB2 for VM and VSEDB2 for OS/400,,,,,,,,,,,,,,,,,,,,,,,,,,,,TCP/IPSNAIPX/SPX,WAN,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,Complete

39、Solutions,Online Analytical Processing (OLAP),由IBM研究員E.F. Codd提出，被業(yè)界廣泛采用為計劃和分析優(yōu)化處理多維視圖鉆取切片滿足用戶需求填補(bǔ)關(guān)系型數(shù)據(jù)庫的不足利用現(xiàn)有投資后臺交易系統(tǒng)前臺報表系統(tǒng),OLAP: 多維分析,用維的方法觀察數(shù)據(jù)產(chǎn)品，時間，地區(qū)，財務(wù)指標(biāo)等數(shù)據(jù)模型等同于業(yè)務(wù)模型,OLAP：多維分析,旋轉(zhuǎn)：按不同順序組織各個維，對結(jié)果進(jìn)行考察鉆?。涸?/p>

40、一個維內(nèi)部沿著從高到低或從低到高的方向考察數(shù)據(jù)上鉆下鉆切片：在確定某些維數(shù)據(jù)的情況下對其他維進(jìn)行觀察,OLAP: 多維分析,考察一個特定的維時間維，包括每一個歸屬局到各被訪局的沖銷結(jié)算關(guān)系鉆取到下面的層次來考察詳細(xì)情況,OLAP：旋轉(zhuǎn),按照不同的順序組合維，對數(shù)據(jù)進(jìn)行考察,OLAP：鉆取,,,結(jié)算分析,,時間,,歸屬局,,被訪局,,沖銷結(jié)算,,,,,,,,1999,2000,2001,,北京,上海,...,,北京,上海,,,來

41、訪費用,出訪費用,,,,,,,,Q1,Q2,,,Q3,Q4,,,,,Apr,May,Jun,,,,,鉆取到各級數(shù)據(jù)層次時間，年，季，月，日歸屬局，省局，地市,OLAP：切片,時間,歸屬局,被訪局,時間,被訪局,歸屬局,一月份所有歸屬局對各被訪局的沖銷結(jié)算關(guān)系,每個歸屬局對被訪局北京每個月份的沖銷結(jié)算關(guān)系,用切片的方法從不同的角度觀察,OLAP,OLTP,OLTP vs. OLAP：不同的角色,紀(jì)錄交易情況有限的步驟二維數(shù)據(jù)管理

42、數(shù)據(jù)處理運行商業(yè)運作,確定任務(wù)反復(fù)的過程多維數(shù)據(jù)合并信息綜合推動商業(yè)計劃,,,DB2 UDB支持OLAP的高級特性,,IBM DB2 OLAP Server,開放的系統(tǒng)最終用戶OLAP工具最終用戶查詢/報表工具易于實現(xiàn)和管理自動化的數(shù)據(jù)庫設(shè)計利用現(xiàn)有的技能和工具系統(tǒng)管理數(shù)據(jù)庫管理高度可伸縮性(Scalability)與IBM數(shù)據(jù)倉庫體系結(jié)合提供兩種存儲方式易于使用的安全權(quán)限限制,開放的接口標(biāo)準(zhǔn)

43、,開放的應(yīng)用程序接口和工具C/C++ API、JDBC、ODBC/CLIEmbedded SQL、SQLJ、Java、C/C++、VB、Delphi/C++ Builder、Power Builder …眾多的客戶端工具DB2 OLAP Server AnalyzerBusiness ObjectBrioCognosExcel/Lotus 123…,通用的運行平臺,AIXSolarisHP-UXWindows N

44、T/2000LinuxS390AS400,OLAP Server與數(shù)據(jù)倉庫管理器緊密集成,IBM的數(shù)據(jù)倉庫管理器中帶有大量與OLAP Server相關(guān)的程序(vwp)：文件數(shù)據(jù)加載到OLAP數(shù)據(jù)庫數(shù)據(jù)加載OLAP用文件數(shù)據(jù)更新維用數(shù)據(jù)庫數(shù)據(jù)更新維計算用規(guī)則計算,客戶可以使用Web方式訪問，不需要安裝任何OLAP工具。,,,,,客戶端訪問和維護(hù),完善的授權(quán)機(jī)制：應(yīng)用程序級數(shù)據(jù)庫(Cube)級過濾器讀、寫、計算、設(shè)

45、計權(quán)限用戶組圖形化管理界面,用戶、權(quán)限管理,完整的日志紀(jì)錄,數(shù)據(jù)挖掘,數(shù)據(jù)倉庫,選擇的數(shù)據(jù),選擇,轉(zhuǎn)換,挖掘,轉(zhuǎn)換后的數(shù)據(jù),可理解的信息,,抽取的信息,一個過程，從大型數(shù)據(jù)庫中抽取以前沒有發(fā)現(xiàn)，可理解的，可操作的信息，用以支持企業(yè)關(guān)鍵性決策。,數(shù)據(jù)挖掘的典型例子,常用數(shù)據(jù)挖掘算法分為三類,常用數(shù)據(jù)挖掘算法,Clustering (Segmentation) - no dependent variableDemographic

46、SegmentationNeural Segmentation (Kohonen Map)Example: Identify common characteristics in a customer data base.Predictive/Classification Modeling - dependent variableNonlinear regressionDecision trees Neural netw

47、orks Radial-basis functionsExample: Predict IBM's stock price tomorrow.,常用數(shù)據(jù)挖掘算法,Link Analysis - transaction dataBasic associations (or dissociation)Sequential associations (over time)Example: Identify which f

48、eatures of an insurance policy sell together.Similar Time Sequence,許多業(yè)務(wù)問題可以映射到數(shù)據(jù)挖掘技術(shù),Intelligent Miner for Data V6.1,IBM Intelligent Miner for Data,數(shù)據(jù)驅(qū)動發(fā)現(xiàn)競爭優(yōu)勢,Server端運行于 NT/2000, AIX, SUN Solaris, MVS, AS/400Client端運行

49、于Win95/NT/2000, AIX, SUN Solaris,分群(Clustering)結(jié)果樣例,分群(Clustering)結(jié)果樣例,分類(Classification)結(jié)果樣例,預(yù)測樣例,Intelligent Miner for Data支持三種類型的關(guān)聯(lián)分析發(fā)現(xiàn)關(guān)聯(lián)規(guī)則在交易數(shù)據(jù)庫中，每一筆交易包括一組元素，本算法可以發(fā)現(xiàn)所有的關(guān)聯(lián)關(guān)系，例如一組元素的出現(xiàn)將導(dǎo)致另一組元素的出現(xiàn)。發(fā)現(xiàn)事件序列在數(shù)據(jù)庫中存放這一段時間

50、中的交易信息，本算法可以找出交易間的模式，例如一組元素將跟隨另一組元素的出現(xiàn)而出現(xiàn)。發(fā)現(xiàn)相似性時間序列在時間序列數(shù)據(jù)庫中，找出與某一個具有相同/不同時間間隔的序列相似的序列。,關(guān)聯(lián)分析(link analysis),IM4D體系結(jié)構(gòu),數(shù)據(jù)挖掘為業(yè)務(wù)方案提供了一條途徑,IBM DM on the Web,http://www.software.ibm.com/datahttp://www.software.ibm.com/data/