面向減小Hadoop通信開(kāi)銷(xiāo)的Gorder算法的研究.pdf

1、數(shù)據(jù)挖掘技術(shù)成為近年來(lái)的研究熱點(diǎn)。KNN Joins問(wèn)題是數(shù)據(jù)挖掘中的典型問(wèn)題，在數(shù)據(jù)挖掘中的知識(shí)發(fā)現(xiàn)、空間數(shù)據(jù)庫(kù)和數(shù)據(jù)清洗等領(lǐng)域發(fā)揮作用。該問(wèn)題包含近鄰查詢(xún)與Joins操作兩個(gè)方面，這兩個(gè)方面都是計(jì)算消耗型。當(dāng)數(shù)據(jù)量增大，解決該問(wèn)題的CPU消耗、I/O消耗等是巨大的。提高解決KNN Joins問(wèn)題的算法性能是必要的。為了在面臨大數(shù)據(jù)時(shí)數(shù)據(jù)挖掘問(wèn)題仍然能夠高效的解決，并行化是有效的方法。在并行計(jì)算中，Hadoop采用Map/Reduce

2、編程模型進(jìn)行計(jì)算。其中Map/Reduce編程模型作為一種簡(jiǎn)單、易擴(kuò)展、高容錯(cuò)的并行編程模型，得到了廣泛的應(yīng)用。
　　 本文利用該編程模型對(duì)算法進(jìn)行并行化，解決大數(shù)據(jù)處理過(guò)程中的效率問(wèn)題是普遍被采用的方法。采用Hadoop平臺(tái)并使用Map/Reduce編程模型對(duì)KNN Joins問(wèn)題算法進(jìn)行并行化設(shè)計(jì)是可行而有效的。目前關(guān)于KNN Joins問(wèn)題如何高效、準(zhǔn)確的解決已有了相關(guān)的研究。其中包括單機(jī)算法，也包括采用Map/Reduc