基于支持向量機(jī)的中文文本分類(lèi)系統(tǒng)研究.pdf

1、在信息技術(shù)日新月異的今天，多數(shù)人在日常工作學(xué)習(xí)中都會(huì)接觸到大量的中文信息，尤其是在互聯(lián)網(wǎng)上，存在的中文網(wǎng)頁(yè)更是數(shù)以萬(wàn)計(jì)。如何利用計(jì)算機(jī)技術(shù)快速有效的獲取相關(guān)信息已經(jīng)成為目前中文信息處理領(lǐng)域一個(gè)研究熱點(diǎn)。中文文本分類(lèi)是中文信息處理的重要組成部分，對(duì)中文信息數(shù)字化的實(shí)現(xiàn)和推廣有重要意義，在文本識(shí)別、電子政務(wù)、搜索引擎、信息過(guò)濾等領(lǐng)域有著廣泛和深入的應(yīng)用。 支持向量機(jī)是一種建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)之上的模式識(shí)別方法，由Boser、Guy

2、on、Vapnik等人在COLT(ComputationalLearningTheory)-92上首次提出，在文本分類(lèi)、圖像識(shí)別、生物信息處理等領(lǐng)域都取得了成功的應(yīng)用。相比較傳統(tǒng)的分類(lèi)方法，支持向量機(jī)在求解小樣本、非線(xiàn)性、高維空間等問(wèn)題上表現(xiàn)出了較好的性能。支持向量機(jī)根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，具有全局最優(yōu)解，同時(shí)提高了分類(lèi)器的泛化能力。利用支持向量機(jī)得到的分類(lèi)器具有很好的推廣能力，即使訓(xùn)練樣本很少，分類(lèi)系統(tǒng)也可以達(dá)到很高的準(zhǔn)確率。

3、 本文首先對(duì)中文文本分詞進(jìn)行了介紹，在常用分詞算法的基礎(chǔ)之上設(shè)計(jì)了一種雙向匹配分詞算法，有效的減少了歧義詞對(duì)正確分詞的影響。特征選擇是文本分類(lèi)的重要環(huán)節(jié)，本文對(duì)分類(lèi)問(wèn)題中的若干傳統(tǒng)特征選擇評(píng)估算法進(jìn)行了分析，對(duì)其中的互信息和X2等評(píng)估算法提出了改進(jìn)策略。分類(lèi)器設(shè)計(jì)是文本分類(lèi)系統(tǒng)的核心部分，本文討論了目前主流的分類(lèi)器設(shè)計(jì)方法，重點(diǎn)對(duì)支持向量機(jī)方法進(jìn)行了研究，詳細(xì)闡述了線(xiàn)性可分、線(xiàn)性不可分、非線(xiàn)性等支持向量機(jī)方法的原理，比較了采用不同核函數(shù)

4、的支持向量機(jī)分類(lèi)器的分類(lèi)效果。通過(guò)對(duì)一般分類(lèi)器訓(xùn)練學(xué)習(xí)過(guò)程的分析，本文探討了訓(xùn)練集選取對(duì)分類(lèi)效果的影響，提出了動(dòng)態(tài)訓(xùn)練集的文本分類(lèi)算法，加強(qiáng)了訓(xùn)練集對(duì)分類(lèi)器訓(xùn)練學(xué)習(xí)過(guò)程中所起的作用。 最后，結(jié)合文本分類(lèi)過(guò)程和支持向量機(jī)方法，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于支持向量機(jī)的中文文本分類(lèi)系統(tǒng)。該系統(tǒng)分類(lèi)效果的評(píng)價(jià)采用分類(lèi)問(wèn)題研究領(lǐng)域普遍采用的查準(zhǔn)率、查全率和F測(cè)度值等指標(biāo)。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)的這些評(píng)判指標(biāo)總體上的平均值都很高，具有較好的分類(lèi)效果。