海量劣質(zhì)數(shù)據(jù)上沖突消解關(guān)鍵技術(shù)的研究.pdf

1、大數(shù)據(jù)在廣泛的領(lǐng)域形成并且快速的擴(kuò)張,同時引入了大量劣質(zhì)數(shù)據(jù)(錯誤的、不一致的數(shù)據(jù))。因此數(shù)據(jù)質(zhì)量在大數(shù)據(jù)時代日益顯得重要,但是數(shù)據(jù)質(zhì)量系統(tǒng)的定義和方法還不成熟,遠(yuǎn)遠(yuǎn)滿足不了工業(yè)上的需要。海量信息的質(zhì)量與數(shù)量融合的管理系統(tǒng)、海量信息的數(shù)據(jù)清洗與容錯管理系統(tǒng)應(yīng)運而生。本文針對數(shù)據(jù)清洗的熱點領(lǐng)域進(jìn)行了研究。并且改進(jìn)了相關(guān)方法在實踐中不足。本文主要關(guān)注的領(lǐng)域是沖突消解-數(shù)據(jù)清洗的一個子領(lǐng)域。沖突指不同的數(shù)據(jù)描述對同一客觀實體的不一致表達(dá)。我們

2、的方法具有高效性,廣泛適用性。兼顧很多出現(xiàn)在現(xiàn)實中的復(fù)雜情形。本文的主要貢獻(xiàn)主要分為三個方面:第一,增量式的真值發(fā)現(xiàn)策略;第二,并行化的真值發(fā)現(xiàn)策略;第三,一個沖突消解的完整的系統(tǒng)框架。簡要的說明如下。
　　首先,真值發(fā)現(xiàn)是沖突消解系統(tǒng)的一個關(guān)鍵組成。已有的真值發(fā)現(xiàn)在實際的應(yīng)用中沒有考慮增量的問題,當(dāng)新來數(shù)據(jù)時若在所有的輸入上重新運行算法而不是利用已有的計算結(jié)果會造成極大的時間浪費,本文在現(xiàn)有研究的基礎(chǔ)上提出了增量式的真值發(fā)現(xiàn)和沖

3、突消解策略,在增量沖突算法兼顧了概念偏移的處理使之能夠應(yīng)對不同的輸入場景。
　　其次,本文還在Hadoop上研究了并行化的沖突消解策略,在海量數(shù)據(jù)上,單機(jī)版的程序滿足不了我們對時間的要求,只有在集群上,大型互聯(lián)網(wǎng)公司才能夠提供大數(shù)據(jù)上的互聯(lián)網(wǎng)應(yīng)用,但是并行化算法和傳統(tǒng)算法在思維方式上的不同也將面臨新的問題,我們將一一探討并解決。
　　最后,在劣質(zhì)數(shù)據(jù)上,不同的數(shù)據(jù)源可能對同一實體具有不同的描述,當(dāng)對他們進(jìn)行數(shù)據(jù)集成時就需要沖