基于CPU-GPU協(xié)作環(huán)境的快速大規(guī)模SVM訓(xùn)練.pdf

1、近年來，隨著圖形處理器(Graphic Processor Unit，GPU)的計算能力的增強(qiáng)，其主要用途由圖形渲染過渡到通用計算方面，GPU的定位也逐漸演變?yōu)榫哂斜姾思軜?gòu)的通用處理器。在現(xiàn)今以主核心輔以協(xié)處理器模式的CPU-GPU異構(gòu)并行系統(tǒng)中，兼顧了CPU與GPU在通用計算方面不同的優(yōu)勢，提供了一種優(yōu)秀的程序設(shè)計思路與系統(tǒng)組成方法?；贑PU-GPU異構(gòu)協(xié)同環(huán)境的集群作為一種有效的提供并行計算資源的途徑，已經(jīng)得到了科學(xué)及工程中計算模

2、擬、海量數(shù)據(jù)處理等研究領(lǐng)域的廣泛應(yīng)用。
　　支持向量機(jī)(Support Vector Machine，SVM)是一種廣泛應(yīng)用于統(tǒng)計分類以及回歸分析的監(jiān)督學(xué)習(xí)方法，是當(dāng)今使用機(jī)器學(xué)習(xí)解決分類問題的重要途徑。支持向量機(jī)基于結(jié)構(gòu)風(fēng)險最小化原理，具有全局優(yōu)化、泛化能力強(qiáng)等優(yōu)點(diǎn)，已成功應(yīng)用于人臉識別、文本分類、生物信息學(xué)等研究領(lǐng)域。SVM的訓(xùn)練實(shí)質(zhì)上是一個帶有約束條件的凸二次優(yōu)化問題，可以利用原-對偶內(nèi)點(diǎn)法(Primal-DualInter

3、nal Point Method，PD-IPM)對其進(jìn)行求解?；趦?nèi)點(diǎn)法的支持向量機(jī)在解決小樣本、高維數(shù)據(jù)的模式識別領(lǐng)域具有特有的優(yōu)勢，但是，面對如今龐大的海量數(shù)據(jù)，占用內(nèi)存大，訓(xùn)練時間過長的缺點(diǎn)日趨明顯，還有待完善與拓展。
　　針對大規(guī)模SVM訓(xùn)練存在的內(nèi)存需求大，運(yùn)行時間過長的問題，本文提出一種基于CPU-GPU異構(gòu)協(xié)同環(huán)境下的快速大規(guī)模SVM訓(xùn)練方法(CGC-SVM)。首先，利用GPU對于計算密集型問題高性能的處理特性，通過

4、使用CUDA語言和NVIDIA提供的CUBLAS庫，對IPM算法中計算密集部分進(jìn)行了算法優(yōu)化。其次，針對GPU提供數(shù)據(jù)存儲空間不足的問題，提出使用主機(jī)端頁鎖定內(nèi)存進(jìn)行數(shù)據(jù)存儲并使GPU線程直接訪問的方式，擴(kuò)大了GPU可訪問存儲容量，使CPU/GPU兩端共享數(shù)據(jù)存儲空間成為可能。再次，為了解決使用頁鎖定內(nèi)存技術(shù)帶來的帶寬與計算性能的損失，提出了基于分塊流水機(jī)制的CPU-GPU協(xié)同SYRK實(shí)現(xiàn)。最后，利用MPI+Multi-threads+

5、CUDA(MMC)編程模型將實(shí)現(xiàn)擴(kuò)展至集群，進(jìn)一步降低了針對于大規(guī)模數(shù)據(jù)集的SVM訓(xùn)練的單一節(jié)點(diǎn)的內(nèi)存需求。在千兆網(wǎng)連接的四節(jié)點(diǎn)GPU集群系統(tǒng)環(huán)境下，利用不同規(guī)模的數(shù)據(jù)集adult、ijcnn1、covtypes、rcv1、epsilon、url進(jìn)行實(shí)驗(yàn)。結(jié)果表明，CGC-SVM在滿足精度要求的同時，能夠在較大規(guī)模的的數(shù)據(jù)集上獲得最高10倍于單純利用CPU進(jìn)行SVM訓(xùn)練的性能，在存儲、計算及可擴(kuò)展性上均展現(xiàn)了出色的性能。此外，本文所提出