數(shù)據(jù)清理系統(tǒng)EDCS的研究與實(shí)現(xiàn).pdf

1、對(duì)于建立在數(shù)據(jù)倉(cāng)庫(kù)之上的決策支持系統(tǒng),數(shù)據(jù)的正確性對(duì)避免錯(cuò)誤的決策是至關(guān)重要的,錯(cuò)誤的數(shù)據(jù)將會(huì)導(dǎo)致"垃圾進(jìn),垃圾出".因此在構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)時(shí),必須對(duì)各種異質(zhì)數(shù)據(jù)源進(jìn)行數(shù)據(jù)清理,以保證數(shù)據(jù)質(zhì)量.數(shù)據(jù)清理可以劃分為若干原子操作,通過(guò)原子操作的有機(jī)組合執(zhí)行各種數(shù)據(jù)清理任務(wù).在此基礎(chǔ)上,提出了數(shù)據(jù)清理系統(tǒng)EDCS的總體結(jié)構(gòu).異質(zhì)數(shù)據(jù)源中存在多條記錄指向同一實(shí)體的問(wèn)題,數(shù)據(jù)清理的一個(gè)主要工作就是識(shí)別這些近似記錄并將其合并.在EDCS中,通過(guò)字段值語(yǔ)

2、法上比較結(jié)果的綜合來(lái)決定兩條記錄語(yǔ)義上是否相似.我們對(duì)文本字符串匹配方法進(jìn)行研究,提出了R<,->EDist方法,將遞歸匹配思想和編輯距離方法結(jié)合起來(lái),既能識(shí)別拼寫錯(cuò)誤,又能夠識(shí)別子串顛倒和縮寫.在字段比較結(jié)果進(jìn)行綜合時(shí),提出有效權(quán)重的概念,以此消除字段缺失對(duì)判斷記錄相似性的影響,提高了重復(fù)記錄識(shí)別的精確度.數(shù)據(jù)倉(cāng)庫(kù)需要集成大量的數(shù)據(jù),快速而準(zhǔn)確地識(shí)別其中的近似重復(fù)記錄是數(shù)據(jù)清理系統(tǒng)實(shí)用化面臨的一個(gè)非常關(guān)鍵的問(wèn)題.在EDCS中,為了縮小