面向多關(guān)系數(shù)據(jù)的復(fù)制檢測(cè)及真值發(fā)現(xiàn)算法.pdf

1、隨著Internet技術(shù)的不斷發(fā)展，各種信息發(fā)布技術(shù)被廣泛所采用。信息的發(fā)布形式多種多樣，發(fā)布源從大的門戶網(wǎng)站到小的微博、微信，信息的發(fā)布量也越來(lái)越大。隨之而來(lái)的結(jié)果是發(fā)布信息的質(zhì)量很難得到保證:一方面，復(fù)制信息過(guò)程中難免出現(xiàn)一些不一致的或虛假的信息;另一方面，很多發(fā)布者傾向于不加甄別的任意復(fù)制并轉(zhuǎn)載從其獲取的信息。因此，獲取信息復(fù)制來(lái)源與判定復(fù)制關(guān)系顯得尤為重要。復(fù)制檢測(cè)的過(guò)程是先觀測(cè)數(shù)據(jù)的特點(diǎn)，然后針對(duì)這些特點(diǎn)檢測(cè)數(shù)據(jù)源之間的復(fù)制關(guān)

2、系，根據(jù)數(shù)據(jù)源已有的觀測(cè)特點(diǎn)發(fā)現(xiàn)數(shù)據(jù)源間的復(fù)制關(guān)系是一種重要的技術(shù)手段，而將其應(yīng)用在真值發(fā)現(xiàn)中則可以有效地提高真值發(fā)現(xiàn)結(jié)果的召回率和準(zhǔn)確率。
　　目前，針對(duì)單屬性、單表關(guān)系的數(shù)據(jù)源已經(jīng)提出了一些復(fù)制檢測(cè)算法和真值發(fā)現(xiàn)算法，包括單表、單屬性，靜態(tài)、動(dòng)態(tài)，局部、全局的復(fù)制檢測(cè)算法，及使用概率分析的真值發(fā)現(xiàn)算法等。但是，目前還未發(fā)現(xiàn)支持多關(guān)系的數(shù)據(jù)源的復(fù)制關(guān)系檢測(cè)方面的研究工作。本文通過(guò)對(duì)單關(guān)系數(shù)據(jù)源檢測(cè)方法的研究結(jié)合多關(guān)系數(shù)據(jù)的特點(diǎn)提

3、出了多關(guān)系數(shù)據(jù)上的復(fù)制檢測(cè)算法和真值發(fā)現(xiàn)算法。
　　本文首先對(duì)多關(guān)系數(shù)據(jù)的特點(diǎn)進(jìn)行分析，指出單表關(guān)系數(shù)據(jù)的基本原理缺陷，不能直接推廣到多表關(guān)系數(shù)據(jù)上。同時(shí)，提出多關(guān)系數(shù)據(jù)復(fù)制檢測(cè)中的基本假設(shè)和基本規(guī)則，包括數(shù)據(jù)屬性的獨(dú)立性假設(shè)和針對(duì)數(shù)據(jù)冗余提出的Decomposition規(guī)則，針對(duì)非獨(dú)立屬性值關(guān)聯(lián)特征的Tamper規(guī)則，針對(duì)子對(duì)象偽造的Fake規(guī)則。進(jìn)一步，提出了每類規(guī)則的具體應(yīng)用方式，并結(jié)合貝葉斯法則給出了最后復(fù)制關(guān)系檢測(cè)的算法

4、。在此基礎(chǔ)上，分析了多關(guān)系數(shù)據(jù)的真值發(fā)現(xiàn)中可能存在的問(wèn)題，從而提出多關(guān)系數(shù)據(jù)的真值發(fā)現(xiàn)的分解策略。在此策略的指導(dǎo)下，分別提出使用總體的復(fù)制概率和子對(duì)象的復(fù)制概率進(jìn)行真值發(fā)現(xiàn)的All Dependence和Object Dependence規(guī)則。在真值發(fā)現(xiàn)處理算法中，引入了數(shù)據(jù)源的可信度、權(quán)威度和獨(dú)立性，重點(diǎn)研究了數(shù)據(jù)源獨(dú)立性的計(jì)算算法。最后，通過(guò)隨機(jī)生成的理想復(fù)制數(shù)據(jù)集，對(duì)本文提出的復(fù)制檢測(cè)算法的各個(gè)規(guī)則和真值發(fā)現(xiàn)算法的規(guī)則及不同算法進(jìn)