基于逆向清理的實時數(shù)據(jù)整合及數(shù)據(jù)準確度評估.pdf

1、隨著信息技術的不斷發(fā)展，數(shù)據(jù)在不斷涌現(xiàn)，并呈現(xiàn)異構、自治等特點，企業(yè)如何高效、正確的分析數(shù)據(jù)成為當前重要的課題。在數(shù)據(jù)的時效方面，要求數(shù)據(jù)更新的頻率越來越快，傳統(tǒng)的數(shù)據(jù)集成方法一般是每天、每周甚至每個月更新一次，這遠遠滿足不了現(xiàn)在的需求；在數(shù)據(jù)的質量方面，盡管有大量的可用數(shù)據(jù)，但數(shù)據(jù)的質量一直是個困擾的難點，很多企業(yè)為了更準確的制定決策，花費大量的人力物力來提高他們的數(shù)據(jù)質量，但依然收效甚微。
　　異構數(shù)據(jù)的整合技術和數(shù)據(jù)質量應該

2、無縫的協(xié)同工作，數(shù)據(jù)整合過程是一個持續(xù)的過程，數(shù)據(jù)質量也是一樣。目前在構建數(shù)據(jù)整合系統(tǒng)中面臨的最大困難是如何解決數(shù)據(jù)的實時更新和數(shù)據(jù)準確度問題。
　　針對數(shù)據(jù)實時更新問題，本文在傳統(tǒng)ETL過程的基礎上，利用適配器、實時線程等技術來判斷時間戳，建立實時的數(shù)據(jù)裝載模式。一旦原數(shù)據(jù)進行了更新，便實時的將數(shù)據(jù)裝載到數(shù)據(jù)中心。針對數(shù)據(jù)的質量問題，本文提出一種數(shù)據(jù)逆向清理的方法，它利用數(shù)據(jù)整合過程中構建的數(shù)據(jù)來源樹，在逆向清理時快速的查找原始

3、數(shù)據(jù)的位置，并對原始數(shù)據(jù)進行反向清洗、匹配和修改，使原始數(shù)據(jù)的質量得到提高，為平臺提供高質量的數(shù)據(jù)基礎。
　　此外，在數(shù)據(jù)的質量評估方面，本文在貝葉斯網(wǎng)絡、PC算法的基礎上提出一種數(shù)據(jù)準確度評估方法-DAA方法，該方法通過對數(shù)據(jù)集構建網(wǎng)絡，利用PC算法消除獨立節(jié)點的邊，再計算網(wǎng)絡的平均度數(shù)的方法，能實現(xiàn)對兩個數(shù)據(jù)集的準確度對比判斷。本文對兩個已知的貝葉斯網(wǎng)絡運用DAA方法，并比較網(wǎng)絡的度數(shù)得分來驗證該方法的有效性。該方法的提出對人

4、工智能和知識發(fā)現(xiàn)具有一定的研究意義。
　　最后，對基于逆向清理的異構數(shù)據(jù)整合模型，在本地搜索服務項目中進行實際運用。本文設計并實現(xiàn)了商家數(shù)據(jù)整合系統(tǒng)的原型，并利用系統(tǒng)原型對數(shù)據(jù)整合過程和逆向清理過程進行實驗驗證，通過實地驗證比較了原始數(shù)據(jù)整合前后和逆向清理前后的數(shù)據(jù)準確度。實驗結果表明，實驗證明整合后的數(shù)據(jù)準確度明顯高于原始數(shù)據(jù)，提高平均值達到14.8％；且逆向清理后，原始數(shù)據(jù)的準確度平均提高了5.15％。實驗結果充分說明了數(shù)據(jù)整