基于Hadoop的模糊支持向量機(jī)算法研究.pdf

1、支持向量機(jī)是一種建立在統(tǒng)計(jì)理論基礎(chǔ)之上的機(jī)器學(xué)習(xí)方法，是統(tǒng)計(jì)學(xué)習(xí)理論中結(jié)構(gòu)最小化思想在實(shí)際中的體現(xiàn)，它較好的解決了非線性、高維度、過(guò)學(xué)習(xí)等問(wèn)題，且被成功應(yīng)用到語(yǔ)音識(shí)別、人臉識(shí)別、文章分類(lèi)等多個(gè)領(lǐng)域。然而客觀世界存在著大量模糊信息，如果使用支持向量機(jī)訓(xùn)練含有模糊信息的樣本時(shí)，其分類(lèi)性能將會(huì)受到很大影響，因此模糊支持向量機(jī)應(yīng)運(yùn)而生，對(duì)模糊支持向量機(jī)的研究無(wú)疑成為近年來(lái)的研究熱點(diǎn)。
　　模糊支持向量機(jī)處理不平衡數(shù)據(jù)集時(shí)存在嚴(yán)重分類(lèi)偏差，

2、且隸屬度函數(shù)不能準(zhǔn)確有效的反映出樣本的重要性。針對(duì)此問(wèn)題，本文提出了一種面向不平衡數(shù)據(jù)集的模糊支持向量機(jī)模型。首先，根據(jù)正、負(fù)類(lèi)樣本數(shù)的不平衡比例，引入不平衡因子，接著在進(jìn)行隸屬度函數(shù)設(shè)計(jì)的過(guò)程中，結(jié)合樣本緊密度與樣本距離因素，將樣本點(diǎn)分為孤立點(diǎn)、噪聲點(diǎn)、邊界點(diǎn)以及安全樣本點(diǎn)，根據(jù)這些樣本點(diǎn)的不同重要程度分別賦予不同的隸屬度。實(shí)驗(yàn)結(jié)果表明這種方式在處理不平衡數(shù)據(jù)集，尤其是存在較多孤立、噪聲點(diǎn)的不平衡數(shù)據(jù)時(shí)具有較大的優(yōu)勢(shì)。
　　模糊

3、支持向量機(jī)存在訓(xùn)練時(shí)間較長(zhǎng)且不能對(duì)大規(guī)模數(shù)據(jù)集進(jìn)行有效訓(xùn)練等問(wèn)題，為了解決該問(wèn)題，本文提出一種基于hadoop的模糊支持向量機(jī)。該方法結(jié)合hadoop平臺(tái)處理大規(guī)模數(shù)據(jù)的高效性，利用層疊式分層的思想設(shè)計(jì) mapreduce分層模型，首先對(duì)樣本集進(jìn)行等效劃分，對(duì)劃分后的子數(shù)據(jù)集使用本文提出的模糊支持向量機(jī)訓(xùn)練得到支持向量點(diǎn)，兩兩合并后再次訓(xùn)練，重復(fù)以上過(guò)程直到得到全局支持向量點(diǎn)集。該方式能夠?qū)?duì)大規(guī)模數(shù)據(jù)的處理分而治之，減少訓(xùn)練時(shí)間。本文