基于規(guī)則的信息系統(tǒng)環(huán)境下重復(fù)記錄清理的實現(xiàn).pdf

1、重復(fù)記錄清理作為保證數(shù)據(jù)質(zhì)量的手段之一，一直以來也是數(shù)據(jù)清理(Data Cleansing)的重要環(huán)節(jié)。通常情況下，隨著數(shù)據(jù)在數(shù)據(jù)庫中不斷的積累，由于各種各樣的原因，會產(chǎn)生大量的重復(fù)記錄，而其中大量重復(fù)的基礎(chǔ)數(shù)據(jù)對數(shù)據(jù)質(zhì)量和數(shù)據(jù)使用效果影響最為嚴(yán)重，根據(jù)“進(jìn)去的是垃圾，出來的也是垃圾”這條原理，數(shù)據(jù)質(zhì)量的好壞不但影響了業(yè)務(wù)數(shù)據(jù)的質(zhì)量而且影響系統(tǒng)的服務(wù)效率。然而絕大多數(shù)關(guān)于數(shù)據(jù)清理的研究集中在數(shù)據(jù)清理方法和數(shù)據(jù)識別算法上，而忽視了數(shù)據(jù)的業(yè)

2、務(wù)相關(guān)性。
　　 對于企業(yè)信息系統(tǒng)集成環(huán)境下重復(fù)記錄的清理，本文結(jié)合傳統(tǒng)的數(shù)據(jù)清理方法提出了基于規(guī)則的數(shù)據(jù)庫重復(fù)記錄清理的方法。著重介紹了如何定義和使用字段模式規(guī)則和重復(fù)記錄清理規(guī)則。在字段模式規(guī)則中介紹了如何通過字段模式糾正數(shù)據(jù)表中異常的字段值；在重復(fù)記錄清理規(guī)則中介紹了如何使用匹配規(guī)則、業(yè)務(wù)規(guī)則和規(guī)則矩陣識別重復(fù)記錄，針對企業(yè)信息應(yīng)用系統(tǒng)中包含大量復(fù)雜的業(yè)務(wù)流程，首先通過匹配規(guī)則得到包含有重復(fù)記錄的重復(fù)記錄組；再通過特定領(lǐng)域

3、的業(yè)務(wù)規(guī)則的運(yùn)用從重復(fù)記錄組中匹配得到一個符合業(yè)務(wù)規(guī)則條件的記錄，稱為“目標(biāo)記錄”。而重復(fù)記錄組中的其他記錄則被稱為“臟記錄”，“目標(biāo)記錄”將用于取代數(shù)據(jù)庫中的“臟記錄”；最后通過匹配規(guī)則和業(yè)務(wù)規(guī)則組成的二維矩陣判斷所得到的重復(fù)記錄組的可靠性，可靠性較高的重復(fù)記錄組可以直接進(jìn)入重復(fù)記錄清理過程，而可靠性較低的重復(fù)記錄組需要人工檢查來保證重復(fù)記錄清理的安全。
　　 在記錄清理規(guī)則匹配得到重復(fù)記錄組的基礎(chǔ)本文介紹了如何在數(shù)據(jù)庫中根據(jù)

4、數(shù)據(jù)表的二維屬性特征，通過橫向的表間清理把相關(guān)表中的“臟記錄”用“目標(biāo)記錄”取代；通過縱向的表內(nèi)清理在待清理記錄對象表中合并和刪除重復(fù)記錄組中的“臟記錄”。在信息系統(tǒng)中清除重復(fù)記錄包含一定的危險性，因此對所清理的重復(fù)記錄和相關(guān)業(yè)務(wù)記錄需要完全備份，本文介紹了如何備份重復(fù)記錄清理過程中所處理的各種記錄。
　　 由于企業(yè)信息系統(tǒng)同包含有多個應(yīng)用，為了保證數(shù)據(jù)在各個應(yīng)用系統(tǒng)的一致，使用了基于消息集成總線的重復(fù)記錄清理集成模式，通過系統(tǒng)

5、集成在企業(yè)應(yīng)用系統(tǒng)之間進(jìn)行記錄清理，保證應(yīng)用系統(tǒng)之間數(shù)據(jù)記錄的一致性和完整性，并且通過快速的集成開發(fā)把記錄清理引入到新應(yīng)用系統(tǒng)中。
　　 結(jié)合上述方法的研究和當(dāng)前企業(yè)的IT基礎(chǔ)架構(gòu)，本文提出了一種在當(dāng)前信息系統(tǒng)集成環(huán)境下基于規(guī)則的重復(fù)記錄清理框架，它充分利用了數(shù)據(jù)庫現(xiàn)有的技術(shù)手段和工具，并集成了所開發(fā)的規(guī)則庫、異常字段清理模塊、重復(fù)記錄匹配模塊、數(shù)據(jù)合并模塊和數(shù)據(jù)集成發(fā)布模塊。在此框架上可以完成規(guī)則庫的定義、異常字段清理、重復(fù)記