基于MD5與HASH的數(shù)據(jù)庫(kù)增量提取算法及其應(yīng)用.pdf

1、當(dāng)今社會(huì)，信息基礎(chǔ)設(shè)施越來(lái)越完善，信息間的交流愈發(fā)頻繁，導(dǎo)致了信息的海量增長(zhǎng)。數(shù)據(jù)信息的丟失和損壞將會(huì)引起難以估量的損失，數(shù)據(jù)備份是解決此問(wèn)題唯一可行的方案。在某段時(shí)間里，海量數(shù)據(jù)中往往只有一部分?jǐn)?shù)據(jù)發(fā)生了改變，如果采用完全備份則存在效率低下的問(wèn)題，而增量備份既能縮短備份時(shí)間也能減小存儲(chǔ)空間?，F(xiàn)有的數(shù)據(jù)庫(kù)增量提取技術(shù)中，基于第三方工具的實(shí)現(xiàn)方法，都需要在某些特定的條件下才能實(shí)現(xiàn)，存在開銷過(guò)大、改造成本過(guò)高的問(wèn)題;影子表法是一種通用的基于

2、數(shù)據(jù)集合本身的增量提取方法，但現(xiàn)有的影子表法對(duì)海量數(shù)據(jù)的增量提取效率低下。本文以提高影子表法效率為重心，主要工作如下:
　　 (1)針對(duì)鄰近排序影子表法效率低下的問(wèn)題，提出了一種基于HASH算法的改進(jìn)型影子表增量提取方法(ST-HJ)。在使用影子表法進(jìn)行增量提取的過(guò)程中，鄰近排序法需要對(duì)集合進(jìn)行排序，而對(duì)于海量數(shù)據(jù)的排序效率會(huì)很低。為了解決該問(wèn)題，本文在研究現(xiàn)有影子表法原理和HASH算法的基礎(chǔ)上，找到了一種通過(guò)將備份表記錄映射成

3、散列表，同時(shí)利用原始表記錄依次到散列表中探測(cè)獲取增量的方式。該方法不需要對(duì)集合進(jìn)行排序，只需線性掃描一次數(shù)據(jù)集合就能獲取增量記錄。實(shí)驗(yàn)表明，在對(duì)比字段較少的情況下，ST-HJ算法效率較鄰近排序法提升了近60％，而在對(duì)比字段較多的情況下，效率提升不到10％。
　　 (2)針對(duì)多屬字段情況下效率提升不明顯的問(wèn)題，本文對(duì)ST-HJ算法進(jìn)行了完善。在分析ST-HJ算法在多屬性字段比對(duì)的情況下效率提升不明顯的原因后發(fā)現(xiàn)，是由于多屬性字段的

4、比對(duì)及其HASH運(yùn)算造成了算法性能的降低。為了解決此問(wèn)題，本文在研究“影子主碼”和MD5算法的基礎(chǔ)上，通過(guò)MD5算法將多屬性字段變換為固定長(zhǎng)度的字符串，然后再結(jié)合ST-HJ算法實(shí)現(xiàn)增量提取。該方法限定了比對(duì)字符串的長(zhǎng)度，同時(shí)具有了ST-HJ算法的優(yōu)勢(shì)。實(shí)驗(yàn)表明，在多屬性字段比對(duì)的情況下，完善后的ST-HJ算法效率提升了近40％。
　　 (3)以ST-HJ算法為基礎(chǔ)，實(shí)現(xiàn)了一個(gè)數(shù)據(jù)庫(kù)增量備份系統(tǒng)。將系統(tǒng)應(yīng)用于中國(guó)移動(dòng)湖南省公司的《