直推式支持向量機(jī)的研究學(xué)習(xí).pdf

1、直推式支持向量機(jī)的研究學(xué)習(xí)重慶大學(xué)碩士學(xué)位論文（學(xué)術(shù)學(xué)位）學(xué)生姓名：王利文指導(dǎo)教師：劉瓊蓀教授專業(yè)：概率論與數(shù)理統(tǒng)計(jì)學(xué)科門類：理學(xué)重慶大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院二O一四年四月重慶大學(xué)碩士學(xué)位論文中文摘要I摘要支持向量機(jī)（SupptVectMachineSVM）是一種建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上的機(jī)器學(xué)習(xí)方法，最初是由Vapnik等人研究小樣本問(wèn)題時(shí)提出的。隨著統(tǒng)計(jì)學(xué)習(xí)理論的發(fā)展，SVM在理論和應(yīng)用方面都得到了迅速地發(fā)展。特別是將核函數(shù)引入到SVM的

2、學(xué)習(xí)過(guò)程中，提高了算法對(duì)高維數(shù)據(jù)的處理能力，在文本分類、醫(yī)療診斷、圖像檢測(cè)及數(shù)字驗(yàn)證等領(lǐng)域得到很好的推廣。標(biāo)準(zhǔn)SVM是基于監(jiān)督學(xué)習(xí)的分類方法，需要手工對(duì)大量樣本標(biāo)記以獲取足夠的訓(xùn)練樣本。但在實(shí)際工程應(yīng)用中，這一過(guò)程不僅效率不高，并且代價(jià)較為昂貴。因此，半監(jiān)督學(xué)習(xí)思想被引入到SVM的訓(xùn)練學(xué)習(xí)過(guò)程中，典型的包括：Bent等人將SVM規(guī)范化的表現(xiàn)形式中引入聚類假設(shè)的思想，提出的S3VM學(xué)習(xí)機(jī)；Joachims基于直推式學(xué)習(xí)提出的TSVM算法等

3、。本文對(duì)TSVM算法做了詳細(xì)的研究，對(duì)于TSVM算法中pN較難估計(jì)的問(wèn)題，提出基于無(wú)標(biāo)簽樣本的成對(duì)標(biāo)注法和標(biāo)簽動(dòng)態(tài)調(diào)整PTSVM算法。針對(duì)訓(xùn)練樣本集中的有標(biāo)簽樣本數(shù)不平衡的問(wèn)題，采取對(duì)不同的無(wú)標(biāo)簽樣本設(shè)置不同的懲罰參數(shù)的策略，提出了TSVM的模糊漸進(jìn)式算法和SemiTSVM算法等。雖然以上幾種改進(jìn)算法提高了TSVM分類的準(zhǔn)確度，但是也增加了算法的訓(xùn)練時(shí)間。針對(duì)這一情形，本文采用SLSTSVM模型避免了每次迭代求解QP問(wèn)題，提高了訓(xùn)練的速

4、度，同時(shí)在每次迭代中采用區(qū)域標(biāo)注法來(lái)實(shí)現(xiàn)無(wú)標(biāo)簽樣本的標(biāo)注，也加快了對(duì)無(wú)標(biāo)簽樣本的標(biāo)注效率。通過(guò)仿真實(shí)驗(yàn)可以發(fā)現(xiàn)，SLSTSVM算法在保持PTSVM算法精度的同時(shí)，也有效提高了訓(xùn)練的效率。直推式學(xué)習(xí)SVM的研究是支持向量機(jī)發(fā)展的一個(gè)方向，雖然目前TSVM算法的研究已獲得一些進(jìn)展，但其理論研究仍不夠完善。本文根據(jù)直推式支持向量機(jī)的學(xué)習(xí)算法做了一些理論研究，如何更好挖掘的無(wú)標(biāo)簽樣本信息提高分類器的性能是TSVM算法下一步研究的關(guān)鍵。關(guān)鍵詞關(guān)鍵