大數(shù)據(jù)環(huán)境下的數(shù)據(jù)質量管理策略

1、大數(shù)據(jù)環(huán)境下的數(shù)據(jù)質量管理策略 大數(shù)據(jù)環(huán)境下的數(shù)據(jù)質量管理策略信息時代，數(shù)據(jù)已經慢慢成為一種資產，數(shù)據(jù)質量成為決定資產優(yōu)劣的一個重要方面。隨著大數(shù)據(jù) 大數(shù)據(jù)的發(fā)展，越來越豐富的數(shù)據(jù)給數(shù)據(jù)質量的提升帶來了新的挑戰(zhàn)和困難。提出一種數(shù)據(jù)質量策略，從建立數(shù)據(jù)質量評價體系、落實質量信息的采集分析與監(jiān)控、建立持續(xù)改進的工作機制和完善元數(shù)據(jù)管理４個方面，多方位優(yōu)化改進，最終形成一套完善的 質量 質量管理 管理體系，為信息系統(tǒng)提供高質量的數(shù)據(jù)支持。１

2、信息系統(tǒng)數(shù)據(jù)質量 信息系統(tǒng)數(shù)據(jù)質量信息由數(shù)據(jù)構成，數(shù)據(jù)是信息的基礎，數(shù)據(jù)已經成為一種重要資源。對于企業(yè)而言，進行市場情報調研、客戶關系維護、財務報表展現(xiàn)、戰(zhàn)略決策支持等，都需要信息系統(tǒng)進行數(shù)據(jù)的搜集、分析、知識發(fā)現(xiàn)，為決策者提供充足且準確的情報和資料。對于政府而言，進行社會管理和公共服務，影響面更為寬廣和深遠，政策和服務能否滿足社會需要，是否高效地使用了公共資源，都需要數(shù)據(jù)提供支持和保障，因而對數(shù)據(jù)的需求顯得更為迫切，對數(shù)據(jù)質量的要求也

3、更為苛刻。作為信息系統(tǒng)的重要構成部分，數(shù)據(jù)質量問題是影響信息系統(tǒng)運行的關鍵因素，直接關系到信息系統(tǒng)建設的成敗。根據(jù)“垃圾進，垃圾出（ｇａｒｂａｇｅｉｎ，ｇａｒｂａｇｅ ｏｕｔ）”的原理，為了使信息系統(tǒng)建設取得預期效果，達到數(shù)據(jù)決策的目標，就要求信息系統(tǒng)提供的數(shù)據(jù)是可靠的，能夠準確反應客觀事實。如果數(shù)據(jù)質量得不到保證，即使數(shù)據(jù)分析工具再先進，模型再合理，算法再優(yōu)良，在充滿“垃圾”的數(shù)據(jù)環(huán)境中也只能（１）在數(shù)據(jù)收集方面，大數(shù)據(jù)的多樣性決定了

4、數(shù)據(jù)來源的復雜性。來源眾多、結構各異、大量不同的數(shù)據(jù)源之間存在著沖突、不一致或相互矛盾的現(xiàn)象。在數(shù)據(jù)獲取階段保證數(shù)據(jù)定義的完整性、數(shù)據(jù)質量的可靠性尤為必要。（２）由于規(guī)模大，大數(shù)據(jù)獲取、存儲、傳輸和計算過程中可能產生更多錯誤。采用傳統(tǒng)數(shù)據(jù)的人工錯誤檢測與修復或簡單的程序匹配處理，遠遠處理不了大數(shù)據(jù)環(huán)境下的數(shù)據(jù)問題。（３）由于高速性，數(shù)據(jù)的大量更新會導致過時數(shù)據(jù)迅速產生，也更易產生不一致數(shù)據(jù)。（４）由于發(fā)展迅速，市場龐大，廠商眾多，直接產

5、生的數(shù)據(jù)或者產品產生的數(shù)據(jù)標準不完善，使得數(shù)據(jù)有更大的可能產生不一致和沖突。（５）由于數(shù)據(jù)生產源頭激增，產生的數(shù)據(jù)來源眾多，結構各異，以及系統(tǒng)更新升級加快和應用技術更新?lián)Q代頻繁，使得不同的數(shù)據(jù)源之間、相同的數(shù)據(jù)源之間都可能存在著沖突、不一致或相互矛盾的現(xiàn)象，再加上數(shù)據(jù)收集與集成往往由多個團隊協(xié)作完成，期間增大了數(shù)據(jù)處理過程中產生問題數(shù)據(jù)的概率。３ 數(shù)據(jù)質量管理策略 數(shù)據(jù)質量管理策略為了改進和提高數(shù)據(jù)質量，必須從產生數(shù)據(jù)的源頭開始抓起，從