面向XML相似性重復(fù)數(shù)據(jù)的清洗方法研究.pdf

1、隨著互聯(lián)網(wǎng)信息技術(shù)的不斷發(fā)展以及獲取網(wǎng)絡(luò)數(shù)據(jù)的方法多樣化，大量電子數(shù)據(jù)在互聯(lián)網(wǎng)中產(chǎn)生，其在各領(lǐng)域中的應(yīng)用地位也隨之提高?？蓴U(kuò)展標(biāo)記語言XML數(shù)據(jù)也大量飛速增長，XML作為半結(jié)構(gòu)化數(shù)據(jù)由于自身特點及優(yōu)勢在各應(yīng)用領(lǐng)域具有極大的重要性，但作為半結(jié)構(gòu)化數(shù)據(jù)同樣會出現(xiàn)數(shù)據(jù)質(zhì)量問題，因此XML數(shù)據(jù)清洗問題不容忽視。由于XML數(shù)據(jù)自我描述特點，使其數(shù)據(jù)表現(xiàn)格式靈活自由，導(dǎo)致XML數(shù)據(jù)文檔重復(fù)存在，尤其是相似性重復(fù)數(shù)據(jù)，將會導(dǎo)致大量冗余信息產(chǎn)生。

2、>　　目前存在的有效分析和管理數(shù)據(jù)的方法工具只適用于對XML數(shù)據(jù)的簡單分析操作，對問題數(shù)據(jù)進(jìn)行有效處理總是被動的，并不能很好地解決XML的數(shù)據(jù)質(zhì)量問題，因此清洗之后所保留的信息量只是XML原始數(shù)據(jù)信息量的一小部分而已。到目前為止，已有大量文獻(xiàn)研究XML數(shù)據(jù)清洗方面的有關(guān)問題，其中大部分主要集中在XML相似性重復(fù)數(shù)據(jù)清洗方面，因為相似性重復(fù)數(shù)據(jù)問題一直是數(shù)據(jù)清洗的難題，其難點在于對存在的相似性重復(fù)數(shù)據(jù)進(jìn)行檢測，該過程對獲取的信息準(zhǔn)確度也同

3、樣非常重要。針對目前XML相似性重復(fù)數(shù)據(jù)的檢測算法所存在的問題即時間復(fù)雜度和清洗效率方面存在的問題，本文對XML相似性重復(fù)數(shù)據(jù)檢測方法進(jìn)行了優(yōu)化，為以后的數(shù)據(jù)挖掘等工作奠定基礎(chǔ)。
　　本文針對XML相似性重復(fù)數(shù)據(jù)及其清洗問題方面進(jìn)行了重點研究。對XML相似性重復(fù)數(shù)據(jù)進(jìn)行定義，運用路徑匹配方法對XML文檔進(jìn)行初步分類，對PSO檢測算法進(jìn)行了優(yōu)化即GA-PSO算法，用于XML相似性重復(fù)數(shù)據(jù)的檢測。該算法將GA中的交叉crossover