非理想狀態(tài)下支持向量機學習算法的研究.pdf

1、作為上世紀九十年代興起的一種新的機器學習技術，支持向量機(Support Vector Machine，SVM)在許多領域都取得了成功的應用。但它的應用其實大多局限于常見的標準化或者說“理想化”的數(shù)據(jù)分布情況，對于在實際應用中不得不面對的一些數(shù)據(jù)分布不合常規(guī)或者說不“理想”的機器學習問題，比如：不確定性輸入信息學習、不平衡數(shù)據(jù)集分類、半監(jiān)督型數(shù)據(jù)學習等，傳統(tǒng)型支持向量機的學習性能則表現(xiàn)得不盡人意，有時甚至根本達不到人們所期望的學習效果，

2、這在很大程度上影響了支持向量機向更大范圍的推廣和應用。針對這些問題，本文就幾種非理想狀態(tài)下的支持向量機學習算法進行了研究和探討，給出了較理想的解決方案。 在簡單回顧標準支持向量機及其數(shù)學基礎之后，本文重點研究了三類非理想狀態(tài)問題的支持向量機學習算法。 針對某些訓練樣本存在輸入信息不確定的問題，通過引入灰色理論中區(qū)間數(shù)及區(qū)間運算的概念，結合支持向量機的特性，提出了解決不確定信息的灰信息支持向量機分類及回歸算法。該類算法用區(qū)

3、間數(shù)來表示不確定的輸入信息，利用區(qū)間運算來替代原來學習函數(shù)中的運算，并根據(jù)區(qū)間運算結果來對信息不確定的輸入模式進行學習。同時借鑒灰色理論中區(qū)間距離的思想，文中還提出了解決單值分類問題的的灰信息支持向量域分類算法(gray supportvector domain description，GSVDD)。 針對不同類別樣本在數(shù)量分布上存在差異的不平衡數(shù)據(jù)問題，本文研究了不平衡狀態(tài)下實際分類面和數(shù)據(jù)不平衡度的關系，通過采用一種新的上抽

4、樣技術(over-sampling)---SMOTE來糾正實際分類面形狀偏離理想分類面的現(xiàn)象；同時還對傳統(tǒng)支持向量機的懲罰函數(shù)進行了調整，引入了差異性懲罰的思想來糾正傳統(tǒng)算法中的分類面偏移現(xiàn)象。 在SVM的實際應用中由于樣本采集的困難以及采樣成本的代價過高，在給定的數(shù)據(jù)集中往往存在部分沒有被標識的樣本，這類問題稱之為半監(jiān)督型學習(semi-supervised learning)問題。本文針對Joachims.T提出的解決半監(jiān)督

5、型學習問題的直推式支持向量機學習算法(Transductive Support VectorMachine，TSVM)存在的諸如訓練速度慢、泛化能力弱等一些缺點，提出一種改進的直推式支持向量機分類學習算法。該算法通過采用個體樣本標號判斷和交換準則取代TSVM算法中的成對樣本標標號交換法，能正確確定無標識樣本中的正標識樣本數(shù)，克服了傳統(tǒng)TSVM算法存在的缺點，增強了TSVM算法學習算法的推廣能力。作者還對論文中提出的幾種非理想狀態(tài)支持向量