支持向量機(jī)加速方法及應(yīng)用研究.pdf

1、支持向量機(jī)（Support Vector Machines， SVMs）是基于統(tǒng)計學(xué)習(xí)理論以及結(jié)構(gòu)風(fēng)險最小化原則的新一代通用機(jī)器學(xué)習(xí)方法。它在解決小樣本、非線性及高維模式分類及函數(shù)回歸問題中表現(xiàn)出許多獨(dú)特優(yōu)勢，是克服過學(xué)習(xí)、局部最優(yōu)及維數(shù)災(zāi)難等傳統(tǒng)困難的有效方法。由于其性能出色，支持向量機(jī)自誕生以來受到研究者越來越多的關(guān)注并已成為機(jī)器學(xué)習(xí)領(lǐng)域中一個新的研究熱點(diǎn)。然而支持向量機(jī)計算復(fù)雜，效率較低，這在一定程度上制約了它的在產(chǎn)業(yè)界的推廣和應(yīng)

2、用。本文從幾個不同角度研究了提高其效率的方法，主要的研究內(nèi)容及成果概述如下：
　　 1)增量及減量（在線）訓(xùn)練算法針對現(xiàn)有支持向量回歸機(jī)(Support Vector Regression， SVR)在線訓(xùn)練算法每次只能處理一個樣本而效率較低的問題提出一種基于多樣本的支持向量回歸機(jī)在線訓(xùn)練算法。算法以拉格朗日乘數(shù)法和卡羅需-庫恩-塔克（KKT）條件為基礎(chǔ)，逐步改變樣本的系數(shù)，并在每次迭代中保持原來的樣本滿足KKT條件，最終使所有

3、訓(xùn)練樣本滿足KKT條件。實(shí)驗表明，本算法可以有效地實(shí)現(xiàn)SVR模型的精確在線更新，其運(yùn)算效率優(yōu)于針對單樣本的支持向量回歸機(jī)在線算法。在一次增加或減少的樣本較少時，其訓(xùn)練速度遠(yuǎn)優(yōu)于批量訓(xùn)練算法，因而可作為一種有效的在線訓(xùn)練算法．本算法可以高效地動態(tài)更新SVR模型，尤其適用于時變時間序列的預(yù)測以及時變系統(tǒng)的辨識等應(yīng)用。
　　 2)SVM硬件實(shí)現(xiàn)針對嵌入式應(yīng)用環(huán)境中靈活性和實(shí)時性的要求，本文提出一種基于流行的序貫最小優(yōu)化(Sequent

4、ial Minimal Optimization, SMO)算法的并行可擴(kuò)展數(shù)字硬件結(jié)構(gòu)以高效訓(xùn)練SVM分類器，并且基于FPGA平臺驗證了其各方面特性。由于SMO算法最終利用解析方法求解QP問題，從而可以有效避免數(shù)值穩(wěn)定性問題。在深入分析SMO算法的基礎(chǔ)上，我們提取出其中的并行性并將其映射至并行硬件結(jié)構(gòu)。實(shí)驗表明，本SVM硬件可以基于低成本的定點(diǎn)運(yùn)算單元有效地處理SVM訓(xùn)練問題，并且具有良好可伸縮性?；诒維VM硬件結(jié)構(gòu)，可以方便地在性

5、能和資源消耗之間進(jìn)行權(quán)衡折中以滿足不同應(yīng)用的要求。本SVM硬件方案克服了現(xiàn)有方案缺乏靈活性的缺點(diǎn)，因而更適合嵌入式環(huán)境中的應(yīng)用。此外，為了給SVM相關(guān)算法的硬件實(shí)現(xiàn)提供參考，簡化硬件架構(gòu)的設(shè)計以及提高設(shè)計的可重用性等，本文還提出一種基于當(dāng)前流行的映射-歸約（MapReduce）并行計算模型的SVM硬件實(shí)現(xiàn)方法。我們以SVM訓(xùn)練和分類算法為例說明基于這一方法可以非常容易且有效地將相關(guān)算法映射至并行可擴(kuò)展硬件結(jié)構(gòu)。
　　 3)在光刻

6、熱點(diǎn)檢測中的應(yīng)用針對SVM在集成電路版圖光刻熱點(diǎn)檢測（lithography hotspot）中的應(yīng)用，提出一種在具體應(yīng)用中提高SVM效率的方法。該方法首先利用離散余弦變換提取版圖樣本的頻域特征，然后利用多目標(biāo)遺傳算法進(jìn)行特征選擇以減少用作熱點(diǎn)檢測的特征的數(shù)目，從而提高熱點(diǎn)檢測的效率。此外，SVM參數(shù)的選擇也被集成到這一過程中同時進(jìn)行以獲得盡可能高的檢測精度。實(shí)驗表明，本檢測方法在不影響檢測精度的前提下，效率明顯優(yōu)于原先直接以圖像像素為