基于hadoop平臺的分布式數(shù)據(jù)挖掘系統(tǒng)研究與設(shè)計

1、基于基于hadoop平臺的分布式數(shù)據(jù)挖掘系統(tǒng)平臺的分布式數(shù)據(jù)挖掘系統(tǒng)研究與研究與設(shè)計設(shè)計THERESEARCHDESIGNOFDISTRIBUTEDDATAMININGSYSTEMBASEDONHADOOP學(xué)科專業(yè)：軟件工程研究生：武桂云指導(dǎo)教師：趙政教授企業(yè)導(dǎo)師：蔣繼婭副研究員天津大學(xué)軟件學(xué)院二零一二年十一月中文摘要中文摘要伴隨著web2.0、云計算、物聯(lián)網(wǎng)等概念和技術(shù)的提出與快速發(fā)展，信息時代越來越體現(xiàn)出它的“大數(shù)據(jù)”特征。為了發(fā)揮

2、大數(shù)據(jù)的價值，數(shù)據(jù)倉庫、數(shù)據(jù)挖掘技術(shù)在商業(yè)、軍事、經(jīng)濟(jì)、學(xué)術(shù)等眾多領(lǐng)域越來越收到重視，正發(fā)揮著越來越大的作用。與此同時，龐大的數(shù)據(jù)規(guī)模也向傳統(tǒng)的數(shù)據(jù)挖掘工作提出了重大的挑戰(zhàn)。依靠云計算等分布式計算平臺所提供的強勁處理能力，將數(shù)據(jù)挖掘與云計算相結(jié)合正在成為行業(yè)的趨勢，正不斷地顯現(xiàn)出其強大的優(yōu)勢和潛力。以Hadoop為代表的分布式系統(tǒng)，正在逐漸成為大數(shù)據(jù)挖掘系統(tǒng)必要組成部分。因此，本課題就是在Hadoop分布式系統(tǒng)上完成數(shù)據(jù)挖掘任務(wù)的一次實

3、踐。主要任務(wù)是使用Hadoop搭建分布式集群環(huán)境，并在該環(huán)境上部署數(shù)據(jù)挖掘任務(wù)。研究Hadoop系統(tǒng)架構(gòu)，對其分布式文件系統(tǒng)HDFS和MapReduce并行編程模型的原理和實現(xiàn)進(jìn)行深入理解。系統(tǒng)掌握數(shù)據(jù)挖掘過程，將傳統(tǒng)的數(shù)據(jù)挖掘算法使用MapReduce編程實現(xiàn)，并針對Hadoop平臺的數(shù)據(jù)挖掘算法的執(zhí)行情況進(jìn)行研究，主要分析其執(zhí)行效率和可擴(kuò)展性。選擇數(shù)據(jù)挖掘中的數(shù)據(jù)聚類任務(wù)作為代表，并選擇Kmeans聚類算法做深入研究，掌握其原理并編