基于Hodoop平臺(tái)的并行增量式支持向量機(jī)學(xué)習(xí)算法研究.pdf

1、支持向量機(jī)是在統(tǒng)計(jì)學(xué)理論基礎(chǔ)上發(fā)展起來的一種新型學(xué)習(xí)算法，已在機(jī)器學(xué)習(xí)、模式識(shí)別等領(lǐng)域取得了較好的應(yīng)用效果，然而隨著訓(xùn)練數(shù)據(jù)集規(guī)模的不斷增大，支持向量機(jī)也表現(xiàn)出學(xué)習(xí)效率低下等缺點(diǎn)。針對(duì)這一問題，人們分別提出了增量學(xué)習(xí)和并行學(xué)習(xí)的解決方法。增量學(xué)習(xí)能較好地適應(yīng)數(shù)據(jù)的動(dòng)態(tài)特性，并行學(xué)習(xí)能加快對(duì)大規(guī)模數(shù)據(jù)集的學(xué)習(xí)速度。但是，對(duì)同時(shí)兼具規(guī)模大、動(dòng)態(tài)增長的大數(shù)據(jù)對(duì)象而言，這兩種算法仍然面臨學(xué)習(xí)速度較慢的問題。本文在增量學(xué)習(xí)和并行學(xué)習(xí)的基礎(chǔ)上，結(jié)合

2、Hadoop平臺(tái)處理大數(shù)據(jù)的優(yōu)勢(shì)，對(duì)大數(shù)據(jù)下支持向量機(jī)方法進(jìn)行了深入研究，具體內(nèi)容如下:
　　 (1)提出一種基于Bagging技術(shù)的并行增量式SVM學(xué)習(xí)算法BPISVM。算法一方面將增量學(xué)習(xí)過程并行化執(zhí)行，提高其學(xué)習(xí)速度，另一方面盡量增加各子分類器的分類信息來提高其學(xué)習(xí)精度。算法首先對(duì)訓(xùn)練數(shù)據(jù)并行學(xué)習(xí)得到多個(gè)子分類器，增量學(xué)習(xí)時(shí)用增量集并行地更新所有子分類器，保證每個(gè)子分類器都能夠獲得增量集中包含的新分類信息，更新方法為分別從

3、增量集和原訓(xùn)練數(shù)據(jù)中尋找潛在支持向量，與已有的支持向量集合并在一起進(jìn)行重新訓(xùn)練，盡量保證分類信息不丟失。算法基于MapReduce框架實(shí)現(xiàn)，仿真實(shí)驗(yàn)結(jié)果表明，算法在有效保證學(xué)習(xí)精度的前提下，減少了計(jì)算內(nèi)存開銷，降低了學(xué)習(xí)次數(shù)，提高了學(xué)習(xí)速度。
　　 (2)提出一種基于AdaBoost技術(shù)的并行增量式SVM學(xué)習(xí)算法ABPISVM。算法的增量學(xué)習(xí)與并行學(xué)習(xí)階段都通過相同的學(xué)習(xí)過程得到帶權(quán)重的分類器。增量學(xué)習(xí)時(shí)，先對(duì)增量集學(xué)習(xí)得到新的

4、分類器，將其結(jié)果與已有分類器進(jìn)行比較，從而淘汰部分權(quán)重較低的分類器，僅保留權(quán)重較高的分類器作為增量學(xué)習(xí)的結(jié)果;為補(bǔ)償未進(jìn)行分類器更新帶來的分類信息損失，算法采用AdaBoost技術(shù)提升單個(gè)子分類器的性能。雖然AdaBoost增加了迭代過程，需要一定的時(shí)間開銷，但是由于算法不需要更新分類器，其綜合學(xué)習(xí)速度得到了提高。仿真實(shí)驗(yàn)結(jié)果表明，該算法有較好的增量學(xué)習(xí)能力，顯著提高了學(xué)習(xí)速度。
　　 (3)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于Hadoop的海