支撐向量機(jī)及滾球算法求解分類(lèi)問(wèn)題.pdf

1、哈爾濱工業(yè)大學(xué)理學(xué)碩士學(xué)位論文摘要支撐向量機(jī)是一種新的、功能強(qiáng)大的分類(lèi)器，過(guò)去幾年中，在很多應(yīng)用領(lǐng)域都得到了廣泛應(yīng)用，例如:模式識(shí)別、數(shù)據(jù)挖掘等。而且近年來(lái)支撐向量機(jī)理論的發(fā)展和應(yīng)用也得到越來(lái)越多的關(guān)注。從支撐向量機(jī)的基本理論出發(fā)，衍生了很多不同的研究方向，比如，為解決非線性可分分類(lèi)問(wèn)題，引入了核函數(shù)進(jìn)行空間變換的方法，使原始線性不可分分類(lèi)問(wèn)題變換到高維空間的線性可分分類(lèi)問(wèn)題，求解支撐向量機(jī)，從而達(dá)到分類(lèi)目的對(duì)于樣本存在噪音的分類(lèi)問(wèn)題，

2、通過(guò)引入松弛變量的方法來(lái)控制樣本的容許錯(cuò)誤率，從而構(gòu)造軟邊界支撐向量機(jī)問(wèn)題:考慮到樣本點(diǎn)對(duì)于分類(lèi)問(wèn)題的貢獻(xiàn)率的不同，通過(guò)引入樣本貢獻(xiàn)率系數(shù)，從而構(gòu)造模糊支撐向量機(jī)最近，出現(xiàn)的V一支撐向量機(jī)，更是通過(guò)引入一個(gè)新的參數(shù)V來(lái)控制邊界誤差問(wèn)題。特別是近年來(lái)利用幾何方法解釋和求解支撐向量機(jī)問(wèn)題以及對(duì)支撐向量機(jī)算法的研究成為很多人關(guān)注的熱點(diǎn)。本文主要介紹了支撐向量機(jī)的基本原理和發(fā)展歷程，對(duì)支撐向量機(jī)的各個(gè)分支做了綜合性的論述，在此基礎(chǔ)上綜合支撐向量

3、機(jī)理論和幾何方法，給出了一種支撐向量機(jī)的幾何求解算法，同時(shí)針對(duì)最近剛剛提出不久的V一支撐向量機(jī)在多分類(lèi)情況下做了一些討論工作。本文第一章主要回顧了支撐向量機(jī)理論的發(fā)展歷程第二章主要介紹了支撐向量機(jī)的數(shù)學(xué)理論基礎(chǔ)及主要的幾個(gè)分支第三章是本文的主要工作，主要討論了求解支撐向量機(jī)的滾球算法，和V一支撐向量機(jī)解決多分類(lèi)的問(wèn)題。關(guān)鍵詞支撐向量機(jī)、凸包、超平面，V一支撐向量機(jī)，模糊支撐向量機(jī)、核函數(shù)哈爾濱工業(yè)大學(xué)理學(xué)碩士學(xué)位論文第1章緒論1.1課題

4、背景1.1.1支撐向量機(jī)介紹隨著計(jì)算機(jī)的發(fā)展，特別是人工智能研究的發(fā)展，對(duì)于計(jì)算機(jī)算法也提出了越來(lái)越高的要求。人工智能主要解決的問(wèn)題是對(duì)于一個(gè)未知的事件如何去決策的問(wèn)題。而決策是依賴(lài)于對(duì)事件的判斷，也就是對(duì)未知事件的分類(lèi)問(wèn)題。對(duì)于錯(cuò)綜復(fù)雜的未知事件的分類(lèi)問(wèn)題，現(xiàn)有的一些傳統(tǒng)分類(lèi)方法已經(jīng)難以滿足這種需求，于是對(duì)于新方法的研究開(kāi)發(fā)的需求越來(lái)越迫切。基于數(shù)據(jù)的機(jī)器學(xué)習(xí)是現(xiàn)代智能技術(shù)中的重要方面，研究從觀測(cè)數(shù)據(jù)(樣本)出發(fā)尋找規(guī)律，利用這些規(guī)律

5、對(duì)未來(lái)數(shù)據(jù)或無(wú)法觀測(cè)的數(shù)據(jù)進(jìn)行預(yù)測(cè)。包括模式識(shí)別、神經(jīng)網(wǎng)絡(luò)等在內(nèi)，現(xiàn)有機(jī)器學(xué)習(xí)方法共同的重要理論基礎(chǔ)之一是統(tǒng)計(jì)學(xué)。傳統(tǒng)統(tǒng)計(jì)學(xué)研究的是樣本數(shù)目趨于無(wú)窮大時(shí)的漸近理論，現(xiàn)有學(xué)習(xí)方法也多是基于此假設(shè)。但在實(shí)際問(wèn)題中，樣本數(shù)往往是有限的，因此一些理論上很優(yōu)秀的學(xué)習(xí)方法實(shí)際中表現(xiàn)卻可能不盡人意。而統(tǒng)計(jì)學(xué)習(xí)理論(StatisticalLeamingTheory或SLT)是一種專(zhuān)門(mén)研究小樣本情況下機(jī)器學(xué)習(xí)規(guī)律的理論。而支撐向量機(jī)(簡(jiǎn)稱(chēng)SVM)又是統(tǒng)計(jì)

6、學(xué)習(xí)理論中最年輕的內(nèi)容，也是最實(shí)用的部分，是最近幾年來(lái)一門(mén)迅速發(fā)展的、應(yīng)用于學(xué)習(xí)機(jī)、函數(shù)估計(jì)等多個(gè)領(lǐng)域的新興技術(shù)。其核心內(nèi)容是在1992到1995年間提出的p.2.341，目前仍處在不斷發(fā)展階段SVM是從線性可分情況下的最優(yōu)分類(lèi)面發(fā)展而來(lái)的，基本思想可用圖l的二維情況說(shuō)明。圖1中，圓點(diǎn)和方塊點(diǎn)代表兩類(lèi)樣本，我們的目的是試圖尋找一種方法，能把這兩類(lèi)樣本分離開(kāi)來(lái)，如圖1中的(a.(b)所示。從一種直觀的感覺(jué)出發(fā)，在兩類(lèi)訓(xùn)練樣本點(diǎn)之間可以用一