XML重復對象檢測系統(tǒng)的設計與實現(xiàn).pdf

1、隨著Internet和信息技術(shù)的高速發(fā)展，XML文檔作為數(shù)據(jù)存儲介質(zhì)應用范圍越來越廣泛，XML數(shù)據(jù)的重復元素檢測問題已經(jīng)引起了從事數(shù)據(jù)庫和Internet應用等研究人員的大量關(guān)注。而XML數(shù)據(jù)結(jié)構(gòu)的多樣性，給XML元素相似性判斷帶來很大困難。為了有效的清除XML數(shù)據(jù)中的重復元素，研究了XML重復元素識別規(guī)則，設計和實現(xiàn)了重復XML元素檢測系統(tǒng)。
　　 研究了重復XML元素判定標準、相似字符串識別和XML元素相似度計算等問題，分析

2、出XML重復元素檢測的關(guān)鍵是如何有效地處理結(jié)構(gòu)多樣性的問題和如何處理父、子元素間的依賴關(guān)系，并設計實現(xiàn)了重復XML元素檢測系統(tǒng)。檢測系統(tǒng)主要由文檔預處理模塊、相似字符串識別模塊和元素相似度計算模塊組成。
　　 在檢測系統(tǒng)實現(xiàn)方面，給出了一種自頂向下、多重過濾的檢測方法。通過對XML數(shù)據(jù)存儲結(jié)構(gòu)的分析，給出了重復XML元素對象的定義；通過文檔預處理在一定程度上解決了XML結(jié)構(gòu)多樣性的問題；通過設計多種過濾條件，有效的降低了檢測字符

3、串相似度和XML元素相似度的計算量；通過自頂向下的遍歷解決了XML元素父子元素間的依賴關(guān)系。設計實現(xiàn)了Dirty XML Generator（DXG）工具，用來生成實驗數(shù)據(jù)。
　　 為了說明檢測系統(tǒng)的正確性和過濾條件的有效性，通過DXG工具往XML數(shù)據(jù)內(nèi)引入了結(jié)構(gòu)錯誤和字符串錯誤兩種類型的臟數(shù)據(jù)，對每個過濾條件都進行了單獨的分析，對檢測系統(tǒng)的正確性和效率也進行了分析。最終說明了所有過濾條件都是有效而且高效的，檢測系統(tǒng)檢測的結(jié)果也