人工智能在數(shù)據(jù)清洗中的應用.pdf

1、本文論述了人工智能在數(shù)據(jù)清洗中的應用。 隨著業(yè)務的不斷拓展，大量的生產(chǎn)管理、技術質(zhì)量、財務成本等各個領域的數(shù)據(jù)不斷產(chǎn)生。如何充分利用這些數(shù)據(jù)和系統(tǒng)，提高數(shù)據(jù)的質(zhì)量，為決策支持系統(tǒng)提供正確的數(shù)據(jù)，實現(xiàn)從數(shù)據(jù)到信息、信息到知識的提煉，從而為企業(yè)的生產(chǎn)經(jīng)營作出正確決策提供服務，是擺在信息技術人員面前的一大課題。 數(shù)據(jù)清洗，也稱做數(shù)據(jù)凈化，從數(shù)據(jù)中檢測和去除錯誤及不一致的數(shù)據(jù)部分以改善數(shù)據(jù)質(zhì)量。 針對CATT項目數(shù)據(jù)的數(shù)

2、據(jù)質(zhì)量問題以及用戶的特殊需求，建立了數(shù)據(jù)清洗過程的元數(shù)據(jù)模型，對清洗過程用到的數(shù)據(jù)庫對象和知識庫對象進行管理，并創(chuàng)新性的在公司數(shù)據(jù)倉庫項目中引入人工智能方法參與數(shù)據(jù)清洗。 在本項目的元數(shù)據(jù)模型中，將知識元數(shù)據(jù)分為邏輯和信息兩大類。邏輯是一種規(guī)則，是加工信息的具體方法，由設計人員進行具體設計和實現(xiàn)。信息是對現(xiàn)實世界中具體事物的抽象反映，可以由程序自動更新。對數(shù)據(jù)的清洗操作，利用規(guī)則對清洗后的數(shù)據(jù)進行的驗證等等都屬于邏輯。而各種數(shù)據(jù)

3、，包括臟數(shù)據(jù)，清洗后的數(shù)據(jù)，驗證后的結(jié)果，清洗過程中要用到的數(shù)據(jù)字典等等都數(shù)據(jù)信息范圍。 本文中的人工智能模塊采用了貝葉斯文本識別方法，通過樸素貝葉斯分類器識別客戶的特殊需求字段是否符合正確樣本的特征。通過把人工智能模塊整合到整個的清洗過程中，通過email提醒來通知維護人員出現(xiàn)可疑數(shù)據(jù)，從而大大降低了人員維護的工作量并實現(xiàn)了項目的需求。 通過測試，本文所描述的數(shù)據(jù)清洗方案具有自動化程度高，人為管理少，結(jié)構(gòu)清晰，便于維護