集成數(shù)據(jù)中實(shí)體統(tǒng)一技術(shù)的研究.pdf

1、日益發(fā)展的網(wǎng)絡(luò)和飛速膨脹的信息給人們帶來(lái)了很多的便利，人們已經(jīng)開(kāi)始習(xí)慣于上網(wǎng)發(fā)布信息，查找資料，網(wǎng)上科研。各種各樣的應(yīng)用系統(tǒng)和web服務(wù)出現(xiàn)了豐富的數(shù)據(jù)資源。為了能有效利用這些現(xiàn)有資源，必須進(jìn)行數(shù)據(jù)集成或者數(shù)據(jù)挖掘。但是，由于數(shù)據(jù)源種類繁多，而且信息更新快，很多數(shù)據(jù)由于各種原因得不得及時(shí)更新形成了大量過(guò)時(shí)數(shù)據(jù)，加之各數(shù)據(jù)源的異構(gòu)性，使得集成數(shù)據(jù)中含有大量的“臟數(shù)據(jù)”，即存在數(shù)據(jù)質(zhì)量問(wèn)題；主要表現(xiàn)為：拼寫(xiě)問(wèn)題、錄入錯(cuò)誤、不合法值、空值、不

2、一致值、簡(jiǎn)寫(xiě)、同一實(shí)體的多種表示（重復(fù)）、不遵循引用完整性等。由于不同數(shù)據(jù)庫(kù)之間對(duì)數(shù)據(jù)表示的差異或者因?yàn)殇浫脲e(cuò)誤等人為的原因?qū)е录珊蟮臄?shù)據(jù)庫(kù)中同一實(shí)體對(duì)應(yīng)多條記錄，這些重復(fù)的記錄可能導(dǎo)致建立錯(cuò)誤的數(shù)據(jù)挖掘模型，給后期數(shù)據(jù)的決策分析產(chǎn)生很大的影響。因此，判斷兩條記錄是否相似重復(fù)在數(shù)據(jù)集成、數(shù)據(jù)倉(cāng)庫(kù)中很重要。實(shí)體統(tǒng)一(EntityResolution，ER)是用來(lái)判斷多條記錄是否指向相同的實(shí)體的問(wèn)題，則上述的檢測(cè)這些重復(fù)數(shù)據(jù)即是進(jìn)行實(shí)體統(tǒng)

3、一。
　　 實(shí)體統(tǒng)一是數(shù)據(jù)整合和數(shù)據(jù)清理的重要組成部分，通過(guò)消除冗余，為分析、挖掘提供高質(zhì)量的數(shù)據(jù)支持。本文據(jù)現(xiàn)有研究存在的問(wèn)題，提出了兩種實(shí)體統(tǒng)一的方法，一是提出基于權(quán)值分級(jí)的實(shí)體統(tǒng)一方法。根據(jù)分級(jí)法計(jì)算每個(gè)字段的權(quán)值，按照分級(jí)思想，選擇某關(guān)鍵字段或字段某些位將大數(shù)據(jù)集分割成許多不相交的小數(shù)據(jù)集，再在各個(gè)小數(shù)據(jù)集中進(jìn)行實(shí)體統(tǒng)一，并引入多趟查找算法反復(fù)進(jìn)行實(shí)體統(tǒng)一：二是提出了領(lǐng)域相關(guān)的整體式實(shí)體統(tǒng)一方法，綜合運(yùn)用了屬性，上下文，

4、和關(guān)系這三種相似度度量方法，來(lái)處理相似度，然后放入本文提出的整體式聚類算法中進(jìn)行實(shí)體統(tǒng)一。其主要貢獻(xiàn)：
　　 (1)在分析現(xiàn)有重復(fù)記錄檢測(cè)實(shí)體統(tǒng)一方法的基礎(chǔ)上，提出領(lǐng)域無(wú)關(guān)的基于權(quán)值分級(jí)的實(shí)體統(tǒng)一的算法。算法運(yùn)用分級(jí)劃分思想，即把大的數(shù)據(jù)集分割成很多不相交的小數(shù)據(jù)集，再在小數(shù)據(jù)集中分別查找重復(fù)記錄，即采用了分而治之的思想，并進(jìn)行多趟查找，實(shí)驗(yàn)證明這種方法提高了實(shí)體統(tǒng)一檢測(cè)的精度和效率。
　　 (2)針對(duì)待統(tǒng)一實(shí)體本身之間

5、具有豐富關(guān)系的場(chǎng)景，比如文獻(xiàn)、社會(huì)關(guān)系網(wǎng)等領(lǐng)域，提出了一個(gè)領(lǐng)域相關(guān)的整體式實(shí)體統(tǒng)一的方法。該方法綜合運(yùn)用了屬性，上下文，和關(guān)系這三種相似度度量方法，來(lái)處理相似度，并用本文提出的聚類的實(shí)體統(tǒng)一算法來(lái)處理，比較全面的準(zhǔn)確的計(jì)算出相似度，對(duì)幾個(gè)數(shù)據(jù)集試驗(yàn)評(píng)價(jià)表明該方法查準(zhǔn)率高、效率好。
　　 (3)實(shí)體表象之間的緊密關(guān)聯(lián)暗示了潛在團(tuán)體的存在。為了度量這個(gè)緊密關(guān)聯(lián)的程度，我們引入數(shù)據(jù)結(jié)構(gòu)一擬團(tuán)，定義了擬團(tuán)相似度，用來(lái)衡量和計(jì)算關(guān)系相似度