Hadoop平臺(tái)下數(shù)據(jù)挖掘的研究與實(shí)現(xiàn).pdf

1、數(shù)據(jù)挖掘是針對(duì)大量的數(shù)據(jù)進(jìn)行數(shù)理分析，以得出有價(jià)值信息的過程。隨著進(jìn)入信息時(shí)代，移動(dòng)網(wǎng)絡(luò)設(shè)備的驟增，產(chǎn)生了大量的數(shù)據(jù)信息，如何從海量的數(shù)據(jù)中挖掘出有價(jià)值的知識(shí)，是數(shù)據(jù)挖掘技術(shù)所面臨的主要問題之一。傳統(tǒng)的數(shù)據(jù)挖掘，很難滿足現(xiàn)階段大數(shù)據(jù)處理效率的要求，而云計(jì)算技術(shù)的特點(diǎn)解決了大數(shù)據(jù)挖掘的瓶頸。Hadoop是Apache對(duì)Google云計(jì)算平臺(tái)的開源實(shí)現(xiàn)，主要包括典型的分布式文件系統(tǒng)（HDFS）和 MapReduce計(jì)算模型。Hadoop云計(jì)

2、算技術(shù)的應(yīng)用，實(shí)現(xiàn)了海量數(shù)據(jù)的分布式存儲(chǔ)和任務(wù)的分布式處理，并且具有很高的性能和可靠性。
　　本文對(duì)Hadoop平臺(tái)的HDFS和MapReduce框架做了深入研究，搭建了一個(gè)小型的Hadoop平臺(tái)集群，實(shí)現(xiàn)了在HDFS中大數(shù)據(jù)的分布式存取和基于MapReduce的分布式程序開發(fā)，針對(duì)Hadoop系統(tǒng)磁盤和網(wǎng)絡(luò)I/O進(jìn)行優(yōu)化，能夠明顯提高數(shù)據(jù)分析的性能，提出了磁盤I/O優(yōu)化和數(shù)據(jù)局部性優(yōu)化的方法，提高了Map過程和Reduce過程之

3、間數(shù)據(jù)傳輸?shù)男?。在此基礎(chǔ)上，構(gòu)建了基于優(yōu)化后的Hadoop平臺(tái)的數(shù)據(jù)挖掘系統(tǒng)，系統(tǒng)主要分為分布式計(jì)算層、數(shù)據(jù)挖掘平臺(tái)層、業(yè)務(wù)應(yīng)用層三層，主要模塊包括 HDFS文件系統(tǒng)存儲(chǔ)模塊、MapReduce開發(fā)環(huán)境模塊、數(shù)據(jù)挖掘算法模塊，詳細(xì)介紹了兩種MapReduce開發(fā)環(huán)境的部署，一種是異步模式開發(fā)，一種是同步模式開發(fā)。
　　在理論創(chuàng)新方面，本課題具體地研究了數(shù)據(jù)關(guān)聯(lián)挖掘算法Apriori在Hadoop平臺(tái)上的移植，詳細(xì)介紹了基于 Ma

4、pRed uce的并行關(guān)聯(lián)挖掘算法設(shè)計(jì)的流程，以及MapReduce開發(fā)環(huán)境的編程方法，主要針對(duì)傳統(tǒng)Apriori算法面對(duì)海量數(shù)據(jù)挖掘時(shí)計(jì)算力的不足，分析了Aprioir算法的利弊，以及并行化過程中的問題，提出了一種基于 MapReduce的并行化關(guān)聯(lián)挖掘算法。通過改進(jìn)傳統(tǒng)發(fā)現(xiàn)頻繁項(xiàng)集的方法，基于MapReduce產(chǎn)生所有k-項(xiàng)集組合，分布式的生成頻繁項(xiàng)集的統(tǒng)計(jì)，組合k-項(xiàng)集，一次發(fā)現(xiàn)數(shù)據(jù)項(xiàng)頻度，大大減小了算法的時(shí)間復(fù)雜度，摒棄了剪枝優(yōu)

5、化不斷遍歷數(shù)據(jù)空間的過程，從而保證了關(guān)聯(lián)挖掘數(shù)據(jù)的完整性，極大的提高了大數(shù)據(jù)挖掘的效率。
　　實(shí)驗(yàn)從最小支持度與頻繁項(xiàng)集結(jié)果的關(guān)系，最小支持度對(duì)時(shí)間復(fù)雜度的影響，以及大數(shù)據(jù)挖掘的性能，比較了本文算法和傳統(tǒng)的Apriori算法的效果。得出了以下結(jié)論：
　　第一、不同算法的最小支持度選取與頻繁項(xiàng)集結(jié)果無關(guān)；
　　第二、最小支持度的選取對(duì)傳統(tǒng)Apriori算法有明顯影響，而對(duì)本文算法影響不大；
　　第三、在大數(shù)據(jù)挖掘性