基于SVM的多類(lèi)文本分類(lèi)算法及其應(yīng)用研究.pdf

1、隨著通信技術(shù)和計(jì)算機(jī)技術(shù)、尤其是Internet的飛速發(fā)展,各種各樣的信息成幾何級(jí)數(shù)增長(zhǎng),作為傳統(tǒng)信息載體的文本信息更是如此。為了能在海量的文本中及時(shí)準(zhǔn)確地獲得有效的知識(shí)和信息,文本表示技術(shù)以及文本自動(dòng)分類(lèi)技術(shù)受到了廣泛的關(guān)注。SVM作為一種基于統(tǒng)計(jì)學(xué)習(xí)理論的新型機(jī)器學(xué)習(xí)方法,較好地解決了非線性、高維數(shù)、局部極小點(diǎn)等實(shí)際問(wèn)題,是機(jī)器學(xué)習(xí)領(lǐng)域新的研究熱點(diǎn)。文本分類(lèi)是基于內(nèi)容的自動(dòng)信息管理的核心技術(shù)。文本向量稀疏性大、維數(shù)高、特征之間具有較

2、大的相關(guān)性,支持向量機(jī)對(duì)于特征相關(guān)性和稀疏性不敏感,處理高維數(shù)問(wèn)題具有較大的優(yōu)勢(shì),因此,支持向量機(jī)非常適用于文本分類(lèi)問(wèn)題,在文本分類(lèi)中具有很大的應(yīng)用潛力,更是當(dāng)前的一個(gè)研究熱點(diǎn)。本文主要針對(duì)支持向量機(jī)在文本分類(lèi)等實(shí)際應(yīng)用中存在的問(wèn)題進(jìn)行深入研究,主要工作如下：首先,本文研究分析文本分類(lèi)的總體模型,包括信息預(yù)處理、特征表示、特征提取。重點(diǎn)研究分析了特征表示與特征提取技術(shù),文本的分類(lèi)算法。支持向量機(jī)是針對(duì)兩類(lèi)分類(lèi)問(wèn)題提出的,如何將其有效地推

3、廣到多類(lèi)分類(lèi)仍是一個(gè)尚未完全解決的問(wèn)題。本文分析了現(xiàn)有多類(lèi)分類(lèi)方法的缺陷,接著引出半對(duì)半分類(lèi)分類(lèi)算法。在此基礎(chǔ)上,根據(jù)樹(shù)型支持向量機(jī)的特性,提出了一種基于支持向量機(jī)的半對(duì)半多類(lèi)分類(lèi)方法。該方法設(shè)計(jì)樹(shù)型支持向量機(jī)的樹(shù)型結(jié)構(gòu),克服其差錯(cuò)積累問(wèn)題。實(shí)驗(yàn)表明,與其它支持向量機(jī)多類(lèi)分類(lèi)方法相比,該方法具有較高的分類(lèi)精度和訓(xùn)練速度,提高了支持向量機(jī)在多類(lèi)分類(lèi)問(wèn)題中的應(yīng)用效果。其次,認(rèn)真研究了統(tǒng)計(jì)學(xué)習(xí)理論的主要內(nèi)容和SVM算法的基本原理,討論了核函數(shù)

4、這一熱點(diǎn)問(wèn)題,闡述了SVM研究和應(yīng)用現(xiàn)狀,以及所面臨的問(wèn)題。并且結(jié)合語(yǔ)義概念空間,提出了一種基于支持向量機(jī)和語(yǔ)義概念空間的HAH多類(lèi)分類(lèi)算法。實(shí)驗(yàn)表明,該算法不僅在分類(lèi)精度方面有所提高,而且大大降低了標(biāo)號(hào)數(shù)據(jù)數(shù)目。最后,基于支持向量機(jī)在文本分類(lèi)中的優(yōu)勢(shì),將支持向量機(jī)方法應(yīng)用于文本分類(lèi)的特征提取,提出了一種基于支持向量機(jī)的單詞聚類(lèi)方法。該方法基于支持向量機(jī)度量單詞對(duì)分類(lèi)的貢獻(xiàn)大小,將對(duì)分類(lèi)貢獻(xiàn)一致的單詞合并起來(lái)作為文本向量的一個(gè)特征項(xiàng)。實(shí)