基于hadoop2.0的數(shù)據(jù)挖掘算法并行化研究

1、分類號：U D C ： 密級：學校代號：1 1 8 4 5學號：2 1 1 1 2 0 4 2 0 1廣東工業(yè)大學碩士學位論文( 工程碩士)基于H a d o o p 2 ．0 的數(shù)據(jù)挖掘算法并行化研究瞿卓指導教師姓名、職稱：專業(yè)或領域名稱：學生所屬學院：論文答辯日期：摘要摘要當今社會正在經(jīng)歷一場重大的時代變革，以互聯(lián)網(wǎng)行業(yè)為代表的各行各業(yè)正被鋪天蓋地的龐大數(shù)據(jù)所覆蓋，尤其是社交網(wǎng)絡、電子商務和移動通信將人們帶入了一個以“P B ”級為

2、單位的數(shù)據(jù)信息新時代。在這個大規(guī)模生產(chǎn)、分享和應用數(shù)據(jù)的時代里，以“云計算”技術為核心結合了數(shù)據(jù)挖掘、人工智能等一系列技術的整體方案成為了我們解決大數(shù)據(jù)難題、發(fā)掘數(shù)據(jù)價值、征服數(shù)據(jù)海洋的“巨大動力”。H a d o o p 平臺是A p a c h eS o f t w a r eF o u n d a t i o n 旗下的一個開源分布式系統(tǒng)。它的軟件庫是一個允許使用簡單的編程模型對集群計算機內(nèi)的大數(shù)據(jù)集進行分布式處理的框架，它設計成

3、可以從單一服務器縱向擴展到成千上萬的服務器，而其中的每個服務器都提供本地計算及存儲。它不依靠硬件來提供高可用性，軟件庫本身具有能夠檢測和處理應用層的錯誤的能力，因此，可以在計算機集群的頂層提供高可用的服務，其中的每個節(jié)點都允許失效。近幾年來在互聯(lián)網(wǎng)巨頭的帶動下，H a d o o p 逐漸被互聯(lián)網(wǎng)、金融、銀行、教育、政府機關等眾多行業(yè)所接受、嘗試和應用，成為在大數(shù)據(jù)處理方面呼聲最高、應用最廣的云計算平臺。決策樹分類算法和k —m e a

4、 n s 聚類算法是數(shù)據(jù)挖掘領域中應用最廣泛的兩種挖掘算法，能夠?qū)⒃紨?shù)據(jù)中隱含的、未知的、有用的信息和知識提取出來，讓人們更好地利用數(shù)據(jù)所帶來的巨大價值。本課題立足于已有的云計算平臺，設計了基于H a d o o p 2 ．0 的數(shù)據(jù)挖掘算法并行化的方法，通過將串行的挖掘算法移植到H a d o o p 平臺上，以此來解決傳統(tǒng)的數(shù)據(jù)挖掘技術面對海量數(shù)據(jù)無法進行有效挖掘的難題。本論文首先介紹了研究內(nèi)容的兩大技術背景：云計算和數(shù)據(jù)挖掘，結

5、合兩者提出了基于云計算平臺的數(shù)據(jù)挖掘算法并行化的思想。然后，深入地研究和探討了云計算平臺H a d o o p 2 ．0 的架構原理和內(nèi)部實現(xiàn)細節(jié)。在此基礎上，本論文著重地分析了兩大類型的數(shù)據(jù)挖掘算法：決策樹分類算法和k ．m e a n s 聚類算法，并根據(jù)它們的優(yōu)化算法：S P R I N T 算法和c a n o p y 算法，設計了基于H a d o o p 2 ．0 平臺的并行化方案，詳細地描述了算法并行化實現(xiàn)的具體步驟。最后