基于k-means聚簇的分布式并行SVM算法優(yōu)化.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展，網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)量增速驚人，數(shù)據(jù)結(jié)構(gòu)的復(fù)雜程度也越來越加劇，那么如何從海量復(fù)雜數(shù)據(jù)中挖掘出有用信息成為目前眾多學(xué)者研究的熱點(diǎn)問題。支持向量機(jī)(Support Vector Machine)是一種非常著名的有監(jiān)督的數(shù)據(jù)分類方法，具有預(yù)測準(zhǔn)確率高、很少出現(xiàn)過擬合現(xiàn)象以及較少參數(shù)調(diào)優(yōu)等優(yōu)點(diǎn)，成為解決分類問題的首選方法。但是當(dāng)數(shù)據(jù)集規(guī)模很大甚至遠(yuǎn)超過單節(jié)點(diǎn)計算機(jī)的存儲和處理能力時，傳統(tǒng)的單機(jī)SVM由于占用內(nèi)存大、訓(xùn)練時間長

2、等限制了其在大數(shù)據(jù)領(lǐng)域的應(yīng)用。經(jīng)研究發(fā)現(xiàn)，基于集群方式的分布式處理能夠有效縮短訓(xùn)練時間，解決內(nèi)存占用大的問題。因此，研究分布式并行計算的SVM算法尤為重要。目前，預(yù)測準(zhǔn)確率相對較高的分布式并行SVM算法大都采用多層迭代全反饋的機(jī)制實(shí)現(xiàn)。多層迭代即逐層剔除非支持向量保留支持向量的過程，那么最終保留下來的支持向量就是原始訓(xùn)練集的全局最優(yōu)解。這些算法都采用隨機(jī)劃分(RP)的方法生成并行訓(xùn)練的子樣本集。經(jīng)實(shí)驗(yàn)測試發(fā)現(xiàn)，使用隨機(jī)劃分生成子樣本集的

3、方法存在兩點(diǎn)不足：(i)生成的子數(shù)據(jù)集的分布情況與原始數(shù)據(jù)集的分布情況很可能存在偏差；(ii)在并行環(huán)境下，每次訓(xùn)練使用的子樣本集可能均不相同。因此得到的整體訓(xùn)練模型并不可靠，最終訓(xùn)練預(yù)測的準(zhǔn)確率較低且多次訓(xùn)練結(jié)果存在明顯的抖動現(xiàn)象。
　　本文提出一種基于k-means聚簇生成子數(shù)據(jù)集的并行SVM優(yōu)化算法，使用無監(jiān)督的k-mea ns聚類算法導(dǎo)向性的劃分?jǐn)?shù)據(jù)集，從而有效避免隨機(jī)劃分存在的問題。將并行SVM優(yōu)化算法部署到目前流行的分