云計(jì)算平臺(tái)上的增量學(xué)習(xí)研究.pdf

1、自1969年互聯(lián)網(wǎng)誕生到2011年互聯(lián)網(wǎng)被廣泛應(yīng)用到社會(huì)的各個(gè)領(lǐng)域，流經(jīng)互聯(lián)網(wǎng)的數(shù)據(jù)量至少膨脹了200億倍，并且這些數(shù)據(jù)每天都會(huì)以更快、更大規(guī)模的趨勢(shì)增加。為了將每天產(chǎn)生的新數(shù)據(jù)納入到新的學(xué)習(xí)系統(tǒng)，需要利用增量學(xué)習(xí)。而如何快速、高效地挖掘蘊(yùn)含在海量數(shù)據(jù)中有價(jià)值、易理解的知識(shí)成為增量式數(shù)據(jù)挖掘領(lǐng)域面臨的新的挑戰(zhàn)。
　　近年來(lái)，云計(jì)算技術(shù)的出現(xiàn)為海量數(shù)據(jù)挖掘技術(shù)的發(fā)展帶來(lái)了新的機(jī)遇。一方面云計(jì)算能夠集成廣域網(wǎng)上的計(jì)算資源，為數(shù)據(jù)挖掘提

2、供物理基礎(chǔ)，另一方面，并行計(jì)算技術(shù)是云計(jì)算的核心技術(shù)，借助云計(jì)算特有的分布式編程模式MapReduce，程序可以自動(dòng)地分布到一個(gè)由普通機(jī)器組成的超大集群上并發(fā)執(zhí)行，初步實(shí)現(xiàn)了自動(dòng)并行執(zhí)行機(jī)制。此外，作為Apache軟件基金會(huì)組織下的一個(gè)極具特色的開(kāi)源項(xiàng)目，Hadoop可以方便、快速的實(shí)現(xiàn)計(jì)算機(jī)集群。Hadoop的分布式文件系統(tǒng)(HDFS)能將超大規(guī)模的數(shù)據(jù)進(jìn)行分布式存儲(chǔ)，而其自帶的MapReduce編程框架可以在HDFS基礎(chǔ)上實(shí)現(xiàn)快速的

3、并行化計(jì)算。因此，面對(duì)每天產(chǎn)生的海量的增量數(shù)據(jù)，設(shè)計(jì)基于開(kāi)源云計(jì)算環(huán)境Hadoop的增量分類算法具有十分重要的意義。
　　要實(shí)現(xiàn)基于Hadoop云計(jì)算平臺(tái)的增量學(xué)習(xí)任務(wù)，一個(gè)關(guān)鍵的問(wèn)題就是如何將傳統(tǒng)的增量學(xué)習(xí)算法并行化。本文結(jié)合傳統(tǒng)增量學(xué)習(xí)算法自身的特點(diǎn)，在深入分析MapReduce框架機(jī)制之后，將模塊化的集成學(xué)習(xí)思想融入增量學(xué)習(xí)的過(guò)程中，設(shè)計(jì)了兩種基于云計(jì)算平臺(tái)的增量分類算法。兩種算法的Map階段都是完成相應(yīng)基分類器的訓(xùn)練，不同