改進的SVM+算法在文本分類中的應用研究.pdf

1、本文從理論以及實驗兩個層次對支持向量機算法進行了深入的研究，同時將改進算法運用在文本分類中。
　　首先，本文詳細的介紹了文本分類系統(tǒng)的總體模型，包括:文本表示、特征選擇方法、文本分類算法。認真研究了支持向量機算法的基本原理，并且對支持向量機訓練算法中訓練時間長和消耗內(nèi)存大的缺點加以討論，隨后詳細的討論了SVM訓練算法的改進算法，包括:Chunking算法、大規(guī)模分解法。
　　其次詳細的分析了SMO序列最小化優(yōu)化算法，同時詳細

2、的研究了GeneralizedSMO訓練算法在訓練時間上要優(yōu)于SMO算法，由于SMO算法在有限的步驟之內(nèi)不能得到一個精確的值。分析了在訓練樣本數(shù)相差比較大的情況下基于不同的懲罰系數(shù)C+和C-算法，并詳細的研究了新學習理論:基于特權(quán)信息學習。該學習理論在現(xiàn)有的機器學習理論基礎(chǔ)上加入了人類教學的元素，在訓練階段加入信息中隱藏的解釋、意見、比較等等?；谝陨嫌柧殐?yōu)化算法和新學習理論基礎(chǔ)上，設(shè)計了本文核心算法。
　　最后本文利用搭建的系統(tǒng)

3、，對改進算法的性能作了詳細的實驗研究。在特征提取上去除了一些不具代表性的特征項，在特征選擇上基于tf-idf的思想去除信息增益值小于設(shè)定的閾值的特征詞。核函數(shù)選取高斯徑向基核函數(shù)，同時在文章中給出了改進算法的核心偽代碼。為了測試改進算法的優(yōu)越性，實驗對比了改進算法的準確率、召回率和訓練時間。實驗表明改的算法在訓練時加入對兩個類別施加不同懲罰系數(shù)的方法，該算法可以較好的處理了文本分類中非平衡數(shù)據(jù)集的問題。改進算法加入了文本特權(quán)信息不但提高