基于Hadoop的數(shù)據(jù)挖掘技術(shù)研究.pdf

1、數(shù)據(jù)挖掘近年來獲得了越來越多的廣泛關(guān)注。對大型的、復(fù)雜的、信息豐富的數(shù)據(jù)集進(jìn)行處理是所有機(jī)構(gòu)組織、企業(yè)、政府部門的共同需求。Hadoop提出一個(gè)非常有效和實(shí)用的工具為大數(shù)據(jù)分析，能解決大數(shù)據(jù)帶來的高容量、高速率和多樣性的三大挑戰(zhàn)。
　　本文研究了基于Hadoop平臺的數(shù)據(jù)挖掘算法：
　　1.Apriori算法的主要缺陷是頻繁掃描數(shù)據(jù)庫。為了解決這個(gè)問題，本文通過分析MapReduce的并行思想，提出了基于Hadoop的Apr

2、iori改進(jìn)算法。
　?。?）用MapReduce類似單詞計(jì)數(shù)的過程來并行掃描數(shù)據(jù)庫，減少了算法頻繁掃描數(shù)據(jù)庫的頻率；
　?。?）對map階段具有相同項(xiàng)、不同順序的項(xiàng)集進(jìn)行按字母排序后得出同一項(xiàng)集，簡化了事務(wù)集。通過實(shí)驗(yàn)仿真比較了改進(jìn)的H-Apriori算法與傳統(tǒng)Apriori算法。
　　2.單機(jī)的邏輯回歸算法在處理大數(shù)據(jù)時(shí)需要很長的運(yùn)行時(shí)間，為了解決這個(gè)問題，本文通過分析邏輯回歸算法關(guān)鍵步驟并行的可能性，提出了基于H