大數(shù)據(jù)治理系列

1、大數(shù)據(jù)治理大數(shù)據(jù)治理——為業(yè)務(wù)提供持續(xù)的、可度量的價(jià)值為業(yè)務(wù)提供持續(xù)的、可度量的價(jià)值目錄目錄大數(shù)據(jù)治理大數(shù)據(jù)治理——為業(yè)務(wù)提供持續(xù)的、可度量的價(jià)值為業(yè)務(wù)提供持續(xù)的、可度量的價(jià)值......................................1概述概述.........................................................................................

2、.......................1大數(shù)據(jù)治理系列大數(shù)據(jù)治理系列.............................................................................................1第一部分：大數(shù)據(jù)治理統(tǒng)一流程模型概述和明確元數(shù)據(jù)管理策略第一部分：大數(shù)據(jù)治理統(tǒng)一流程模型概述和明確元數(shù)據(jù)管理策略.......2第二部分：元數(shù)據(jù)集成體系結(jié)構(gòu)第二部分：元數(shù)據(jù)集成

3、體系結(jié)構(gòu)..........................................................14第三部分：實(shí)施元數(shù)據(jù)管理第三部分：實(shí)施元數(shù)據(jù)管理.................................................................24第四部分：大數(shù)據(jù)治理統(tǒng)一流程參考模型的第四步到第九步第四部分：大數(shù)據(jù)治理統(tǒng)一流程參考模型的第四步到第九步.............

4、36第五部分：定義度量值和主數(shù)據(jù)監(jiān)管第五部分：定義度量值和主數(shù)據(jù)監(jiān)管..................................................52第六部分：大數(shù)據(jù)監(jiān)管和信息單一視圖監(jiān)管第六部分：大數(shù)據(jù)監(jiān)管和信息單一視圖監(jiān)管.......................................66第七部分：分析監(jiān)管、安全與隱私管理和信息生命周期監(jiān)管第七部分：分析監(jiān)管、安全與隱私管理和信息生命周期監(jiān)管...

5、..........79?Web和社交媒體數(shù)據(jù)：比如各種微博、博客、社交網(wǎng)站、購物網(wǎng)站中的數(shù)據(jù)和內(nèi)容。?M2M數(shù)據(jù)：也就是機(jī)器對(duì)機(jī)器的數(shù)據(jù)，比如RFID數(shù)據(jù)、GPS數(shù)據(jù)、智能儀表、監(jiān)控記錄數(shù)據(jù)以及其他各種傳感器、監(jiān)控器的數(shù)據(jù)。?海量交易數(shù)據(jù)：是各種海量的交易記錄以及交易相關(guān)的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，比如電信行業(yè)的CDR、3G上網(wǎng)記錄等，金融行業(yè)的網(wǎng)上交易記錄、cebanking記錄、理財(cái)記錄等，保險(xiǎn)行業(yè)的各種理賠等。?生物計(jì)量學(xué)數(shù)據(jù)：是

6、指和人體識(shí)別相關(guān)的生物識(shí)別信息，如指紋、DNA、虹膜、視網(wǎng)膜、人臉、聲音模式、筆跡等。?人工生成的數(shù)據(jù)：比如各種調(diào)查問卷、電子郵件、紙質(zhì)文件、掃描件、錄音和電子病歷等。在各行各業(yè)中，隨處可見因數(shù)量、速度、種類和準(zhǔn)確性結(jié)合帶來的大數(shù)據(jù)問題，為了更好地利用大數(shù)據(jù)，大數(shù)據(jù)治理逐漸提上日程。在傳統(tǒng)系統(tǒng)中，數(shù)據(jù)需要先存儲(chǔ)到關(guān)系型數(shù)據(jù)庫數(shù)據(jù)倉庫后再進(jìn)行各種查詢和分析，這些數(shù)據(jù)我們稱之為靜態(tài)數(shù)據(jù)。而在大數(shù)據(jù)時(shí)代，除了靜態(tài)數(shù)據(jù)以外，還有很多數(shù)據(jù)對(duì)實(shí)時(shí)性

7、要求非常高，需要在采集數(shù)據(jù)時(shí)就進(jìn)行相應(yīng)的處理，處理結(jié)果存入到關(guān)系型數(shù)據(jù)庫數(shù)據(jù)倉庫、MPP數(shù)據(jù)庫、Hadoop平臺(tái)、各種NoSQL數(shù)據(jù)庫等，這些數(shù)據(jù)我們稱之為動(dòng)態(tài)數(shù)據(jù)。比如高鐵機(jī)車的關(guān)鍵零部件上裝有成百上千的傳感器，每時(shí)每刻都在生成設(shè)備狀態(tài)信息，企業(yè)需要實(shí)時(shí)收集這些數(shù)據(jù)并進(jìn)行分析，當(dāng)發(fā)現(xiàn)設(shè)備可能出現(xiàn)問題時(shí)及時(shí)告警。再比如在電信行業(yè)，基于用戶通信行為的精準(zhǔn)營銷、位置營銷等，都會(huì)實(shí)時(shí)的采集用戶數(shù)據(jù)并根據(jù)業(yè)務(wù)模型進(jìn)行相應(yīng)的營銷活動(dòng)。大數(shù)據(jù)治理的

8、核心是為業(yè)務(wù)提供持續(xù)的、可度量的價(jià)值。大數(shù)據(jù)治理人員需要定期與企業(yè)高層管理人員進(jìn)行溝通，保證大數(shù)據(jù)治理計(jì)劃可以持續(xù)獲得支持和幫助。相信隨著時(shí)間的推移，大數(shù)據(jù)將成為主流，企業(yè)可以從海量的數(shù)據(jù)中獲得更多的價(jià)值，而大數(shù)據(jù)治理的范圍和嚴(yán)格程度也將逐步上升。為了更好地幫助企業(yè)進(jìn)行大數(shù)據(jù)治理，筆者在IBM數(shù)據(jù)治理統(tǒng)一流程模型基礎(chǔ)上結(jié)合在電信、金融、政府等行業(yè)進(jìn)行大數(shù)據(jù)治理的經(jīng)驗(yàn)，整理了大數(shù)據(jù)治理統(tǒng)一流程參考模型，整個(gè)參考模型分為必選步驟和可選步驟兩