基于實體的相似性連接操作的研究.pdf

1、近年來,隨著信息生產(chǎn)能力的提高和信息采集技術(shù)的進(jìn)步,不一致、不完備、過時、錯誤、冗余、不精確的劣質(zhì)數(shù)據(jù)普遍存在,嚴(yán)重影響了數(shù)據(jù)的質(zhì)量并給社會造成了巨大的經(jīng)濟(jì)損失。為了處理劣質(zhì)數(shù)據(jù)帶來的問題,亟需新的數(shù)據(jù)管理技術(shù)。目前處理劣質(zhì)數(shù)據(jù)的方法主要是數(shù)據(jù)清洗。然而,數(shù)據(jù)清洗在實際應(yīng)用中有很大的局限性:不能徹底清除劣質(zhì)數(shù)據(jù),操作代價過大等。不過在很多情況下,我們可以容忍一定程度上的劣質(zhì)數(shù)據(jù),從而查詢處理的目標(biāo)轉(zhuǎn)化為從包含劣質(zhì)數(shù)據(jù)的數(shù)據(jù)庫中查詢得到滿

2、足一定清潔度的結(jié)果。當(dāng)前已經(jīng)有一些工作研究在劣質(zhì)數(shù)據(jù)上的查詢處理,不過這些方法只是針對某一種特定類型的數(shù)據(jù),并不具備普遍性。因此,需要一種統(tǒng)一的模型來組織和管理劣質(zhì)數(shù)據(jù)。
　　在數(shù)據(jù)庫中,多條元組代表同一實體是最常見的劣質(zhì)數(shù)據(jù)類型。這些元組中可能包含各種類型的劣質(zhì)信息。實體識別技術(shù)將描述同一實體的元組識別出來,對其進(jìn)行組織是管理劣質(zhì)數(shù)據(jù)的一種有效方法。本文在形式上定義了實體模型、實體關(guān)系數(shù)據(jù)庫以及在實體數(shù)據(jù)上的相似性連接操作。相似

3、性連接操作在數(shù)據(jù)清洗、信息集成、模糊關(guān)鍵字查詢、欺詐檢測等眾多領(lǐng)域中都有著廣泛的應(yīng)用?；趯嶓w的相似性連接由于屬性的多值特征內(nèi)涵了語義信息,擴(kuò)展了字符串上僅僅基于語法的相似連接,使得在相似性連接領(lǐng)域中查詢處理的結(jié)果更加準(zhǔn)確和完備。本文研究了實體數(shù)據(jù)上的相似性連接問題,采用通用的filter-and-verify框架,通過建立新的索引結(jié)構(gòu)和使用新的過濾措施提出了實體的相似性連接算法—ES-JOIN算法。又由于多表連接操作的連接順序?qū)τ谶B接