支持向量機(jī)的優(yōu)化建模方法研究.pdf

1、支持向量機(jī)(Support Vector Machine,SVM)是一種近年來(lái)受到廣泛關(guān)注的機(jī)器學(xué)習(xí)方法,它以統(tǒng)計(jì)學(xué)習(xí)理論(Statistical Learning Theory,SLT)為基礎(chǔ)、以結(jié)構(gòu)風(fēng)險(xiǎn)最小化(Structured Risk Minimization,SRM)為目標(biāo)、以核方法(Kernel Methods,KM)為手段、以支持向量(Support Vector,SV)為結(jié)果,具有堅(jiān)實(shí)的理論基礎(chǔ)、簡(jiǎn)潔的數(shù)學(xué)表示、標(biāo)準(zhǔn)的

2、訓(xùn)練算法和良好的泛化性能,目前在諸如模式識(shí)別、函數(shù)估計(jì)、圖像處理、時(shí)間序列預(yù)測(cè)和生物信息學(xué)等諸多領(lǐng)域得到了成功的應(yīng)用。然而,隨著計(jì)算機(jī)網(wǎng)絡(luò)、傳感技術(shù)、通訊技術(shù)等的迅猛發(fā)展,數(shù)據(jù)的復(fù)雜性膨脹趨勢(shì)日益加劇,傳統(tǒng)支持向量機(jī)模型已經(jīng)無(wú)法滿足現(xiàn)實(shí)各種復(fù)雜數(shù)據(jù)分析與處理的應(yīng)用需求。因此,結(jié)合新的數(shù)據(jù)分析與處理技術(shù)進(jìn)行支持向量機(jī)的優(yōu)化建模,提高其對(duì)復(fù)雜數(shù)據(jù)處理的性能是支持向量機(jī)研究中一個(gè)十分重要的方向。
　　本文將統(tǒng)計(jì)學(xué)習(xí)理論、支持向量機(jī)方法與

3、粒度計(jì)算理論、層次結(jié)構(gòu)模型、主動(dòng)學(xué)習(xí)方法等理論和方法有機(jī)結(jié)合,系統(tǒng)地對(duì)支持向量機(jī)進(jìn)行優(yōu)化建模,提出了多種支持向量機(jī)的優(yōu)化學(xué)習(xí)方法,解決了傳統(tǒng)支持向量機(jī)對(duì)于大規(guī)模、深層次、多類別、非平衡等復(fù)雜數(shù)據(jù)無(wú)法高效學(xué)習(xí)的問(wèn)題。本文的研究工作主要包括以下內(nèi)容:
　　(1)將粒度計(jì)算理論與支持向量機(jī)模型有機(jī)融合,建立粒度支持向量機(jī)優(yōu)化模型和學(xué)習(xí)機(jī)制,提高了支持向量機(jī)的學(xué)習(xí)效率,對(duì)大規(guī)模數(shù)據(jù)進(jìn)行高效挖掘。具體地,提出了基于核方法的粒度支持向量機(jī)優(yōu)化

4、方法,將粒劃分、粒計(jì)算、粒評(píng)價(jià)等任務(wù)與核方法結(jié)合起來(lái),有效解決了粒劃過(guò)程和支持向量機(jī)訓(xùn)練過(guò)程樣本分布的不一致性,提高了模型測(cè)試精度。其次,提出了基于混合度量的粒度支持向量機(jī)方法,通過(guò)混合粒劃分提取包含重要信息的信息粒進(jìn)行訓(xùn)練,根據(jù)訓(xùn)練結(jié)果對(duì)超平面進(jìn)行更新,在保持較高學(xué)習(xí)效率的同時(shí)提高了泛化性能。
　　(2)將層次結(jié)構(gòu)模型應(yīng)用于支持向量機(jī)訓(xùn)練過(guò)程,建立動(dòng)態(tài)層次支持向量機(jī)優(yōu)化模型,提高了其學(xué)習(xí)效率的同時(shí)使支持向量機(jī)在不同認(rèn)知層次上處理

5、問(wèn)題,更接近于現(xiàn)實(shí)世界人類處理問(wèn)題的方式。具體地,首先提出了動(dòng)態(tài)層次劃分方法,即根據(jù)樣本分布進(jìn)行動(dòng)態(tài)層次劃分,從而根據(jù)不同的認(rèn)知層次、不同的精度需求、不同的樣本重要性來(lái)在粒度層次上進(jìn)行信息抽取。在此基礎(chǔ)上,提出了基于動(dòng)態(tài)層次劃分的支持向量機(jī)分類方法和回歸方法,該類方法能夠在不同層次上動(dòng)態(tài)提取重要的分類或回歸信息,以減小模型泛化誤差,在保持較高學(xué)習(xí)效率的同時(shí)提高泛化性能。
　　(3)針對(duì)傳統(tǒng)支持向量機(jī)多分類方法無(wú)法解決樣本類別標(biāo)簽未

6、知的多分類無(wú)監(jiān)督或半監(jiān)督分類問(wèn)題,本文提出一種新的基于主動(dòng)學(xué)習(xí)的模式類別挖掘方法,該方法通過(guò)樣本差異度的衡量抽取最有價(jià)值樣本,采用專家干預(yù)的方式來(lái)挖掘隱含在未標(biāo)記樣本中的模式類別,解決未知類別信息的多類數(shù)據(jù)挖掘問(wèn)題;在此基礎(chǔ)上,構(gòu)造了主動(dòng)多分類支持向量機(jī)學(xué)習(xí)方法,通過(guò)對(duì)未標(biāo)記樣本類別的挖掘,解決大規(guī)模的無(wú)標(biāo)簽多分類問(wèn)題,同時(shí)針對(duì)傳統(tǒng)多分類問(wèn)題的特性和不足,根據(jù)樣本的排斥度、兼容度和模糊度,有效提取多分類過(guò)程中的最有價(jià)值樣本,從而使得優(yōu)化

7、模型能同時(shí)獲得較小的標(biāo)記代價(jià)、較高的學(xué)習(xí)效率和較優(yōu)的泛化性能。此外,本文還設(shè)計(jì)了主動(dòng)多分類在線支持向量機(jī)學(xué)習(xí)方法,提高優(yōu)化模型處理在線多分類問(wèn)題的性能,可在網(wǎng)頁(yè)自動(dòng)分類、適時(shí)疾病疫情檢測(cè)等重要領(lǐng)域得到應(yīng)用。
　　(4)針對(duì)現(xiàn)實(shí)世界中大量存在的非平衡分類問(wèn)題,本文提出了面向非平衡數(shù)據(jù)的支持向量機(jī)優(yōu)化模型,提高了支持向量機(jī)處理非平衡數(shù)據(jù)問(wèn)題的性能。具體地,一方面在引入非平衡劃分和信息提取的基礎(chǔ)上,設(shè)計(jì)了基于采樣的非平衡支持向量機(jī)學(xué)習(xí)方

8、法,即采用劃分得到的重要啟發(fā)信息對(duì)多類樣本進(jìn)行壓縮,增大訓(xùn)練樣本分布的平衡性,提高模型對(duì)少數(shù)類樣本的識(shí)別能力。另一方面通過(guò)設(shè)計(jì)非平衡的粒劃分并衡量粒的支持度和分散度,在此基礎(chǔ)上構(gòu)造平衡因子,并將其引入支持向量機(jī)的優(yōu)化問(wèn)題,提高模型處理非平衡數(shù)據(jù)挖掘問(wèn)題的性能,并在蛋白質(zhì)序列關(guān)系檢測(cè)中得到了成功應(yīng)用。
　　本文研究的內(nèi)容是統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)領(lǐng)域研究的重要內(nèi)容,是粒度計(jì)算理論、層次結(jié)構(gòu)模型等的具體應(yīng)用,同時(shí)也是解決多分類問(wèn)題、非