基于Hadoop平臺的數(shù)據(jù)挖掘算法研究.pdf

1、數(shù)據(jù)挖掘是針對大量的數(shù)據(jù)進行分析，以得出有價值信息的過程。隨著社會信息化程度越來越高，移動網(wǎng)絡(luò)設(shè)備驟增，產(chǎn)生了大量的數(shù)據(jù)信息，如何從海量的數(shù)據(jù)中挖掘出有價值的知識，是數(shù)據(jù)挖掘技術(shù)所面臨的主要問題之一。傳統(tǒng)的數(shù)據(jù)挖掘很難滿足現(xiàn)階段大數(shù)據(jù)處理效率的要求，以Hadoop平臺為代表的云計算技術(shù)應(yīng)用解決了大數(shù)據(jù)挖掘的瓶頸。但是基于Hadoop平臺的數(shù)據(jù)挖掘算法并行化研究仍然存在一些亟待解決的問題，例如，如何減少I/O損耗、如何設(shè)計更優(yōu)的MapRe

2、duce任務(wù)、如何降低任務(wù)同步和通信的代價等等。
　　為了解決這些問題，本文主要進行了以下研究工作：
　　(1)本文分析了傳統(tǒng)的KNN算法的執(zhí)行流程，將其傳統(tǒng)流程中的向量映射、計算距離、尋找K個相鄰向量、確定類別的四個步驟，分別進行了MapReduce改造。在此基礎(chǔ)之上，提出了KNN算法基于Hadoop平臺的并行化移植方案。而后對于方案中Job任務(wù)數(shù)過多，以及運算偽同步的缺陷進行了改進，最終提出了改進的并行化方案。改進的KN

3、N算法并行化方案將MapReduce任務(wù)的個數(shù)由基本移植方案中的4次降低為2次，并利用了MapReduce自動排序的特性，提高了算法的執(zhí)行效率；
　　(2)本文分析了傳統(tǒng)Apriori算法的執(zhí)行流程，將其傳統(tǒng)流程中的剪枝步、連接步、求取強關(guān)聯(lián)規(guī)則以及相關(guān)程序控制等步驟，分別改造成合理的MapReduce模式，在此基礎(chǔ)之上。提出了Apriori算法基于Hadoop平臺的并行化移植方案。而后對于方案中的Job任務(wù)數(shù)過多，迭代流程復(fù)雜等

4、缺陷進行了改進，最終提出了改進的并行化方案。改進的Apriori算法并行化方案擯棄了剪枝優(yōu)化迭代遍歷的傳統(tǒng)工作模式，并使得事務(wù)數(shù)據(jù)庫的掃描次數(shù)由傳統(tǒng)的不確定k（k>1）次減少至固定的2次；
　　(3)為驗證本文提出方案的合理性和正確性，本文搭建了Hadoop云平臺，并在此環(huán)境中實現(xiàn)了KNN、Apriori算法的改進方案。
　　對于改進的KNN算法并行化方案，實驗觀察了在不同計算節(jié)點數(shù)的情況下該算法的性能表現(xiàn)，最終證明了并行化