支持向量技術(shù)及其應(yīng)用研究.pdf

1、支持向量技術(shù)可用于解決機器學(xué)習(xí)中的分類（監(jiān)督學(xué)習(xí)）和聚類分析（無監(jiān)督學(xué)習(xí)）問題，其對應(yīng)的方法分別為支持向量機(Support Vector Machine，SVM)和支持向量聚類（Support Vector Clustering，SVC）。支持向量機建立在統(tǒng)計學(xué)習(xí)理論的VC維(Vapnik Chervonenkis dimension)理論與結(jié)構(gòu)風(fēng)險最小化原則的基礎(chǔ)之上，它能夠根據(jù)有限樣本信息在模型復(fù)雜度與學(xué)習(xí)能力之間尋求最佳折衷，具

2、有較好的泛化性能。同時，支持向量機可以較好地解決困擾許多學(xué)習(xí)算法的小樣本、非線性、過學(xué)習(xí)、高維數(shù)以及局部極值問題。支持向量聚類繼承并推廣了支持向量機的基本思想，是在無監(jiān)督信息的環(huán)境下，使用支持向量技術(shù)進(jìn)行類別學(xué)習(xí)的算法，它可以聚類具有任意簇形狀的數(shù)據(jù)集，并無需預(yù)先給定聚類的數(shù)目。支持向量機與支持向量聚類技術(shù)在輪機故障診斷、場景分類等多個領(lǐng)域有著廣闊的應(yīng)用前景，其相關(guān)的研究，也得到了人們普遍的關(guān)注。本文針對基于支持向量的學(xué)習(xí)算法及其應(yīng)用，

3、作了如下幾方面研究:
　　1.針對基于決策樹的多分類支持向量機其最優(yōu)決策樹結(jié)構(gòu)難于確定，易產(chǎn)生誤差累積影響分類準(zhǔn)確率的問題，研究了一種基于遺傳算法優(yōu)化支持向量機決策樹的多分類方法。以非線性支持向量機在高維特征空間中標(biāo)準(zhǔn)超平面的分類間隔最大化為目標(biāo)，并將與其等價的目標(biāo)函數(shù)作為遺傳算法的適應(yīng)度函數(shù)，采用輪盤賭選擇，有序交叉、倒位變異三種操作算子，應(yīng)用染色體實值編碼的遺傳算法來優(yōu)化支持向量機決策樹結(jié)構(gòu)。該方法能將分類間隔大的類別盡早的劃

4、分開，從而減少誤差累積。
　　2.提出一種基于改進(jìn)核主成分分析與線性支持向量機的分類算法。針對核主成分分析保留的主元只是依據(jù)其對數(shù)據(jù)信息總量的貢獻(xiàn)率，而未考慮其是否有利于分類的問題，采用類間分離性測度，在核主成分分析基礎(chǔ)上進(jìn)一步提取具有更多類別信息量的主元，然后應(yīng)用具有軟間隔的線性支持向量機進(jìn)行分類。將該方法應(yīng)用于場景分類問題中，研究了一種基于局部Gabor特征的場景分類方法，在提取場景圖像特征時，提出一種新的局部Gabor特征描

5、述子，并將其嵌入視覺詞包模型，然后在金字塔匹配框架下，提取塔式關(guān)鍵詞直方圖作為表示場景圖像的特征向量，最后應(yīng)用改進(jìn)核主成分分析與線性支持向量機方法進(jìn)行場景分類，通過對三個通用的場景數(shù)據(jù)集進(jìn)行實驗，結(jié)果表明該算法的有效性。
　　3.提出一種新的基于多葉子生成樹的支持向量聚類算法，采用并查集構(gòu)建多葉子生成樹，與最小生成樹相比，該算法具有更快的執(zhí)行速度，且該生成樹擁有更多的葉子結(jié)點，其主干更為精簡，然后只對多葉子生成樹的主干進(jìn)行連接關(guān)系

6、檢查，并據(jù)此生成聚類標(biāo)定所需的鄰接矩陣，最后采用深度優(yōu)先搜索算法基于鄰接矩陣進(jìn)行聚類劃分。鑒于樣本點在高維特征空間中的分布由于經(jīng)過非線性映射的優(yōu)化，更加利于類別的劃分，進(jìn)一步將提出的算法擴展至高維特征空間，采用徑向基核函數(shù)來計算樣本點在高維特征空間中映像的歐氏距離，并以此作為邊的權(quán)重，在希爾伯特空間構(gòu)建多葉子生成樹，再進(jìn)行簇標(biāo)定，獲得了較好的效果。并將其應(yīng)用于船舶柴油機故障診斷中，針對Kongsberg公司研發(fā)的MAN B&W5L90M