基于多核的并行相似連接.pdf

1、相似連接（similarity join）是指在給定的數(shù)據(jù)集中，根據(jù)給定的相似度度量函數(shù)來衡量數(shù)據(jù)之間的相似度，并找出所有相似度不小于給定閾值的數(shù)據(jù)對的操作。相似連接有著廣泛的應(yīng)用領(lǐng)域，如模糊的關(guān)鍵字匹配，文檔聚類，系統(tǒng)推薦，協(xié)同過濾，數(shù)據(jù)集成與清洗等。隨著網(wǎng)絡(luò)和移動應(yīng)用等信息技術(shù)的不斷發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式增長，海量數(shù)據(jù)的分析需要強(qiáng)大的計(jì)算能力，相似連接成為大數(shù)據(jù)處理領(lǐng)域的熱點(diǎn)方式之一。
　　度量相似性的方法有很多種，如，Jacc

2、ard similarity，Cosine similarity，Overlap similarity，Hamming distance，Edit distance。本篇文章主要采用Jaccard similarity的方法去量化數(shù)據(jù)對相似值。傳統(tǒng)的單核計(jì)算機(jī)平臺的處理能力已經(jīng)很難滿足海量數(shù)據(jù)處理的計(jì)算要求。為了提高計(jì)算效率和計(jì)算性能，利用基于多核平臺的多線程并行編程發(fā)揮多核體系結(jié)構(gòu)的優(yōu)勢，已經(jīng)成為實(shí)現(xiàn)個(gè)人低成本并行計(jì)算和多核技術(shù)發(fā)展的