基于支持向量機(jī)與聚類算法的中文文本分類研究.pdf

1、隨著國(guó)際互聯(lián)網(wǎng)飛速發(fā)展,各種電子文本數(shù)據(jù)的數(shù)量激增,如何快速有效地獲取、管理和使用這些文本數(shù)據(jù),已經(jīng)成為信息系統(tǒng)科學(xué)迫切需要解決的重要問(wèn)題。近十年來(lái),作為解決這些問(wèn)題的基本工具之一,基于文本內(nèi)容的自動(dòng)文本分類技術(shù)得到了空前的發(fā)展,引起了人們的普遍關(guān)注。文本自動(dòng)分類是指由計(jì)算機(jī)自動(dòng)判別文本類別的過(guò)程,文本分類問(wèn)題具有文本向量稀疏性大、維數(shù)高、特征之間具有較大的相關(guān)性的特點(diǎn)。支持向量機(jī)對(duì)于特征相關(guān)性和稀疏性不敏感,且在處理高維數(shù)問(wèn)題時(shí)較其它

2、方法具有較大優(yōu)勢(shì),因此,支持向量機(jī)非常適合于文本分類問(wèn)題,在文本分類中具有很大的應(yīng)用潛力。同時(shí),文本分類也給支持向量機(jī)提出了許多富有挑戰(zhàn)性的課題,目前應(yīng)用支持向量進(jìn)行文本分類主要存在著訓(xùn)練分類模型速度較慢等顯著的缺陷。
　　 本文針對(duì)支持向量進(jìn)行文本分類時(shí)存在著的訓(xùn)練分類模型速度較慢的缺陷,嘗試對(duì)支持向量機(jī)的訓(xùn)練樣本進(jìn)行某種預(yù)處理,以便盡量克服支持向量機(jī)的此類缺陷,更好地應(yīng)用于文本分類。已有的研究表明支持向量機(jī)的建立只取決于訓(xùn)練

3、樣本中的支持向量而與非支持向量無(wú)關(guān),因此本文從降低文本分類過(guò)程中文本向量數(shù)目的角度出發(fā),削減文本向量集中的非支持向量來(lái)加快訓(xùn)練支持向量機(jī)分類的速度。本文采用了一種基于密度概念的k-均值聚類算法,充分利用訓(xùn)練文本類別信息已知的條件,以兩兩聚類的方式在訓(xùn)練樣本預(yù)處理階段盡可能地削減訓(xùn)練樣本中的非支持向量保留支持向量,使得最終參與訓(xùn)練支持向量機(jī)的樣本數(shù)大大減少,從而生成了一個(gè)既具與傳統(tǒng)的支持向量機(jī)分類方法分類精度相當(dāng),又在時(shí)間復(fù)雜度方面有較大