Hadoop平臺(tái)下關(guān)聯(lián)規(guī)則算法并行化研究與實(shí)現(xiàn).pdf

1、關(guān)聯(lián)規(guī)則算法用來(lái)描述事物之間的聯(lián)系和挖掘事物之間的相關(guān)性,其核心是通過(guò)統(tǒng)計(jì)數(shù)據(jù)項(xiàng)獲得頻繁項(xiàng)集,被廣泛應(yīng)用于分類設(shè)計(jì)、捆綁式銷售、倉(cāng)儲(chǔ)貨存配置等領(lǐng)域,關(guān)聯(lián)規(guī)則的挖掘已經(jīng)成為數(shù)據(jù)挖掘中一個(gè)非常重要的研究方向。近年來(lái),隨著網(wǎng)絡(luò)技術(shù)、信息技術(shù)和數(shù)據(jù)庫(kù)技術(shù)的迅猛發(fā)展,尤其是互聯(lián)網(wǎng)的廣泛應(yīng)用,需要分析和管理的數(shù)據(jù)迅速增多,在挖掘大型數(shù)據(jù)庫(kù)中的關(guān)聯(lián)規(guī)則數(shù)據(jù)時(shí),其處理對(duì)象多為海量數(shù)據(jù)和高維數(shù)據(jù)類型,而傳統(tǒng)的關(guān)聯(lián)規(guī)則算法如:Apri-ori,Partit

2、ion,FP-growth,CD,DD,CaD等,無(wú)論是運(yùn)算能力還是并行化效率都不能滿足人們的要求,所以如何用更好的數(shù)據(jù)處理模式來(lái)降低運(yùn)算時(shí)間、提高對(duì)海量數(shù)據(jù)的處理能力,已經(jīng)成為亟待解決的問題。
　　云計(jì)算平臺(tái)Hadoop是由Apache軟件基金會(huì)開發(fā)的一個(gè)開源的、可以更容易開發(fā)和并行處理大規(guī)模數(shù)據(jù)的分布式計(jì)算平臺(tái),是Google公司云計(jì)算三大技術(shù)GFS、Map Reduce和Big table的模仿者,它完全使用Java開發(fā),可

3、以廣泛運(yùn)行在多種軟硬件平臺(tái)上,其對(duì)海量數(shù)據(jù)的存儲(chǔ)能力和并行計(jì)算能力為解決海量數(shù)據(jù)挖掘問題提供了一種新的解決方案。
　　本文對(duì)云計(jì)算和Hadoop平臺(tái)進(jìn)行了介紹,對(duì)Hadoop的組成部分HDFS,M-apReduce和HBase進(jìn)行了深入的研究,給出了Map Reduce并行編程模型的工作原理,深入分析了傳統(tǒng)關(guān)聯(lián)規(guī)則算法的計(jì)算過(guò)程及存在的一些缺點(diǎn)。針對(duì)串行算法執(zhí)行效率低,時(shí)間復(fù)雜度高以及傳統(tǒng)并行計(jì)算模式不能處理節(jié)點(diǎn)失效,難以處理負(fù)載