基于相似性連接的大數(shù)據(jù)集成系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著信息技術(shù)的迅猛發(fā)展，現(xiàn)代的互聯(lián)網(wǎng)每天都產(chǎn)生大量的數(shù)據(jù)，引發(fā)了人們對大數(shù)據(jù)集成的需求。人們提出了新的分布式文件系統(tǒng)來存儲海量數(shù)據(jù)，并在分布式文件系統(tǒng)之上提出了很多并行計算方法來解決大數(shù)據(jù)計算帶來的挑戰(zhàn)。其中最具有代表的是Google提出的MapReduce計算框架。相似連接是數(shù)據(jù)集成中的一個重要操作，是指在組數(shù)據(jù)源中尋找滿足一定相似度閾值的記錄對，常被用于數(shù)據(jù)清洗、去重和實體識別等數(shù)據(jù)集成操作中。然而隨著數(shù)據(jù)規(guī)模的增長，檢測這種相似記

2、錄對成為了一種挑戰(zhàn)，因為越來越多的應(yīng)用需要處理海量的數(shù)據(jù)通常不能在一臺機器上實現(xiàn)。相似連接計算本身可以使用并行計算模型進行處理，因此使用MapReduce計算框架可以很好的解決大規(guī)模數(shù)據(jù)集上相似連接計算性能問題，提高計算效率。
　　本文以海量論文數(shù)據(jù)為研究對象，基于相似連接技術(shù)設(shè)計了大數(shù)據(jù)集成系統(tǒng)，用于有效集成海量數(shù)據(jù)。系統(tǒng)基于MapReduce計算框架實現(xiàn)，用來解決實體識別的問題，核心功能包含三個處理階段:首先從若干數(shù)據(jù)源中發(fā)現(xiàn)

3、所有滿足相似度閾值的記錄對，這些工作是基于相似連接技術(shù)實現(xiàn)的。然后對相似記錄對進行劃分，得到相似子圖。最后在子圖上進行實體采樣，完成實體識別。本文重點研究了分布式環(huán)境下的集合相似連接和MapReduce任務(wù)優(yōu)化兩個問題。針對MapReduce下相似連接，本文在前綴過濾和位置信息過濾的基礎(chǔ)上，提出了全前綴過濾及擴展后綴過濾的過濾算法，設(shè)計了一種基于管道的混合過濾框架，通過降低候選對數(shù)量提高相似連接效率。對于MapReduce任務(wù)，本文從兩

4、個方面進行了優(yōu)化:通過數(shù)據(jù)壓縮降低了集群節(jié)點之間的網(wǎng)絡(luò)開銷;通過任務(wù)負載均衡提高了任務(wù)的并行效率。最后本文在大數(shù)據(jù)集成系統(tǒng)的基礎(chǔ)上設(shè)計并實現(xiàn)了知識產(chǎn)權(quán)搜索原型系統(tǒng)。
　　為了測試本文提出了基于MapReduee計算框架的相似連接算法和任務(wù)調(diào)度策略的性能，本文使用DBLP和Citeseerx真實數(shù)據(jù)集進行大量對比實驗。通過實驗，我們比較了不同相似連接算法的時間開銷。實驗結(jié)果表明本文提出的相似過濾框架和負載均衡算法隨著數(shù)據(jù)規(guī)模的增加性