改進(jìn)的SVM+算法在文本分類中的應(yīng)用研究.pdf

1、本文從理論以及實(shí)驗(yàn)兩個(gè)層次對(duì)支持向量機(jī)算法進(jìn)行了深入的研究，同時(shí)將改進(jìn)算法運(yùn)用在文本分類中。
　　首先，本文詳細(xì)的介紹了文本分類系統(tǒng)的總體模型，包括:文本表示、特征選擇方法、文本分類算法。認(rèn)真研究了支持向量機(jī)算法的基本原理，并且對(duì)支持向量機(jī)訓(xùn)練算法中訓(xùn)練時(shí)間長(zhǎng)和消耗內(nèi)存大的缺點(diǎn)加以討論，隨后詳細(xì)的討論了SVM訓(xùn)練算法的改進(jìn)算法，包括:Chunking算法、大規(guī)模分解法。
　　其次詳細(xì)的分析了SMO序列最小化優(yōu)化算法，同時(shí)詳細(xì)

2、的研究了GeneralizedSMO訓(xùn)練算法在訓(xùn)練時(shí)間上要優(yōu)于SMO算法，由于SMO算法在有限的步驟之內(nèi)不能得到一個(gè)精確的值。分析了在訓(xùn)練樣本數(shù)相差比較大的情況下基于不同的懲罰系數(shù)C+和C-算法，并詳細(xì)的研究了新學(xué)習(xí)理論:基于特權(quán)信息學(xué)習(xí)。該學(xué)習(xí)理論在現(xiàn)有的機(jī)器學(xué)習(xí)理論基礎(chǔ)上加入了人類教學(xué)的元素，在訓(xùn)練階段加入信息中隱藏的解釋、意見、比較等等?；谝陨嫌?xùn)練優(yōu)化算法和新學(xué)習(xí)理論基礎(chǔ)上，設(shè)計(jì)了本文核心算法。
　　最后本文利用搭建的系統(tǒng)

3、，對(duì)改進(jìn)算法的性能作了詳細(xì)的實(shí)驗(yàn)研究。在特征提取上去除了一些不具代表性的特征項(xiàng)，在特征選擇上基于tf-idf的思想去除信息增益值小于設(shè)定的閾值的特征詞。核函數(shù)選取高斯徑向基核函數(shù)，同時(shí)在文章中給出了改進(jìn)算法的核心偽代碼。為了測(cè)試改進(jìn)算法的優(yōu)越性，實(shí)驗(yàn)對(duì)比了改進(jìn)算法的準(zhǔn)確率、召回率和訓(xùn)練時(shí)間。實(shí)驗(yàn)表明改的算法在訓(xùn)練時(shí)加入對(duì)兩個(gè)類別施加不同懲罰系數(shù)的方法，該算法可以較好的處理了文本分類中非平衡數(shù)據(jù)集的問題。改進(jìn)算法加入了文本特權(quán)信息不但提高