SVM文本分類中基于法向量的特征選擇算法研究.pdf

1、隨著Internet的快速發(fā)展,文本分類已經(jīng)成為了組織在線信息的核心任務(wù)之一,并且成為了許多應(yīng)用中的關(guān)鍵架構(gòu)。相對于其他學(xué)習(xí)算法,SVM在文本的分類中表現(xiàn)出了更優(yōu)異的性能。在采用SVM算法的文本分類中,由于文本所表征的向量空間維數(shù)通常非常巨大,因此在訓(xùn)練過程中將耗費大量的系統(tǒng)資源。在資源受限的情況下,往往無法直接在文本原始的空間維數(shù)上進行處理。在此情況下,引入有效的特征選擇算法就顯得相當(dāng)?shù)谋匾?。文本介紹了一種基于法矢量權(quán)重的特征選取方法

2、,并將此方法應(yīng)用于基于SVM的中文文本分類。此特征提取方法提供一種有效的途徑,在基本保持分類器性能的前提下顯著的減少特征空間的維數(shù),進而提升系統(tǒng)的資源利用效率。本文研究的關(guān)鍵技術(shù)包括：第一,為了描述SVM訓(xùn)練過程中對計算資源的消耗,引入“稀疏度”的概念。此處,稀疏度指得是每一文本樣本所表征的矢量中非零特征項的平均統(tǒng)計數(shù)。文檔矢量的稀疏度直接影響計算資源的開銷,這里的資源包括稀疏矢量所消耗的存儲資源和進行運算所耗費的時間。第二,介紹了一種

3、基于法矢量權(quán)重的特征選取方法?；诜ㄏ蛄繖?quán)重的特征提取方法需要選取訓(xùn)練數(shù)據(jù)集的子集,預(yù)訓(xùn)練得到SVM模型,將法向量權(quán)重作為特征項的評估指標(biāo),再以此作為特征排序的依據(jù)。第三,研究在計算資源有限的條件下,使用特征選擇算法增保留部分特征并保留盡可能多的訓(xùn)練文檔,和減少訓(xùn)練文檔數(shù)并保留盡可能多的文本特征數(shù)兩種情況下的文本分類性能。第四,研究對于線性SVM分類器,選用基于法向量的特征選擇算法,和傳統(tǒng)的基于幾率比和基于信息增益的特征選擇算法,對文本

4、分類性能的影響。實驗證明,對于線性SVM分類器,相比與保留全部的特征而只保留部分訓(xùn)練文檔,使用特征選擇算法保留部分特征而相應(yīng)的保留更多的訓(xùn)練文檔能夠獲得更好的特征性能,從而為在資源受限情況下,特征選取算法的使用提供有力的理論依據(jù)。同時,比較基于法向量的特征選擇算法,基于幾率比和基于信息增益的特征選擇算法下的分類性能,證明了對于線性SVM分類器,基于法向量的特征選擇算法能夠獲得最好的分類性能?；诜ㄏ蛄康奶卣鬟x擇算法可以在較大幅度減少計算