基于Hadoop平臺下回歸算法的性能研究.pdf

1、云計算是在網(wǎng)格計算基礎(chǔ)之上發(fā)展起來的一種新型的商業(yè)計算模型，近年來逐漸成為全球各大IT巨頭熱炒的概念。它能夠提供動態(tài)資源池、虛擬化和高可用性的計算平臺。云計算的發(fā)展給數(shù)據(jù)挖掘技術(shù)的發(fā)展帶來了新的挑戰(zhàn)和機遇。云計算可以使用大量的廉價計算機通過集群來代替價格高昂的服務(wù)器，大大降低了計算成本。HADOOP是一個用于構(gòu)建云平臺的Apache開源項目。使用HADOOP框架有利于我們方便、快速的實現(xiàn)計算機集群。在HADOOP平臺上，采用了HDFS(

2、分布式文件系統(tǒng))來實現(xiàn)超大文件的存儲和容錯，使用了Map Reduce的編程模式來進(jìn)行計算。將HADOOP運用到數(shù)據(jù)挖掘，一個關(guān)鍵的問題就是如何實現(xiàn)將傳統(tǒng)的數(shù)據(jù)挖掘算法實行并行化。對于傳統(tǒng)的數(shù)據(jù)挖掘算法，結(jié)合算法自身的特點，我們需要深入研究才能發(fā)現(xiàn)它是否能夠并行。對于能夠并行實現(xiàn)的算法，結(jié)合Map Reduce編程模式，我們可以將其移植到HADOOP平臺上，從而高效的、并行的完成各種數(shù)據(jù)挖掘任務(wù)。強局部加權(quán)回歸算法和Logistic回歸

3、分析越來越多的被用來預(yù)測，強局部加權(quán)回歸算法由于其相對于一般的線性回歸技術(shù)要快，而且提供的是一種萬能的曲線擬合，不管對于多么復(fù)雜的曲線都能進(jìn)行擬合，訓(xùn)練的速度快、學(xué)習(xí)復(fù)雜的目標(biāo)函數(shù)、信息不易丟失都是其優(yōu)點；Logistic回歸分析在統(tǒng)計上是基于一個或者多個變量來預(yù)測一個明確的結(jié)果的回歸分析，
　　本文首先介紹了云計算和 HADOOP平臺的核心架構(gòu)以及運行機制。然后結(jié)合傳統(tǒng)的數(shù)據(jù)挖掘系統(tǒng)提出了基于 HADOOP的數(shù)據(jù)挖掘平臺的技術(shù)架