基于因子分析的文本分類.pdf

1、從20世紀(jì)90年代以來，伴隨互聯(lián)網(wǎng)的飛速發(fā)展，出現(xiàn)了大量的電子文檔。如何對這些無結(jié)構(gòu)的自然語言文本進(jìn)行有效的管理和使用成為一個(gè)重要的研究問題。一些自然語言的處理技術(shù)例如信息檢索、數(shù)據(jù)挖掘、文本分類等快速地發(fā)展起來。 文本分類是信息處理的一個(gè)重要研究領(lǐng)域。與其他的分類任務(wù)相比，文本分類本身一個(gè)最重要的特點(diǎn)是，文本分類通常用詞作為分類的特征。詞的數(shù)目非常大，幾千，幾萬，甚至幾十萬。分類特征非常多，普通的分類器難以很好的完成分類任務(wù)。

2、如何有效的減少分類的特征，而同時(shí)要保證分類的性能就成為重要的研究內(nèi)容。特征降維的方法通常分為特征選取和特征抽取兩類。在本文中重點(diǎn)研究了采用因子分析技術(shù)進(jìn)行特征抽取的方法。 潛在語義索引是一種最常用的特征抽取技術(shù)，通過對項(xiàng)－文本矩陣的分解，利用詞之間的共現(xiàn)信息來抽取特征，文本表示從原來高維詞空間的文本向量線性映射到潛在語義空間的低維向量。潛在語義索引是一種非常好的特征降維的方法，它可以利用很少的維數(shù)保存文本絕大部分的分類信息，而且

3、能夠去除數(shù)據(jù)集中的噪聲來提高分類的效果。文中對潛在語義索引對于特征降維的能力進(jìn)行了研究，與常用特征選取方法如信息增益，文檔頻度，互信息等進(jìn)行了比較分析。實(shí)驗(yàn)結(jié)果表明，潛在語義索引是一種很好的降維技術(shù)，可以用很少的特征而得到非常好的分類效果。 因?yàn)闈撛谡Z義索引采用奇異值分解實(shí)現(xiàn)，所有的運(yùn)算都是線性轉(zhuǎn)換，所以得到的新特征是由原始特征(詞)信息的線性組合得到的。而有些對分類有用的信息是非線性的，潛在語義索引方法無法對這些信息很好的進(jìn)行

4、表示。 核主成分分析與潛在語義索引很相似，也是一種因子分析技術(shù)。核主成分分析通過引入核方法，把文本從詞空間映射到非常高維的特征空間后，再進(jìn)行主成分分析，抽取非線性特征。核主成分分析能成功的避開潛在語義索引的線性限制，從而能夠抽取到更適合分類的特征。核主成分分析與kNN分類器組合模型取得很好的分類性能。本文選用多項(xiàng)式核函數(shù)，并對多項(xiàng)式核函數(shù)的參數(shù)對分類性能影響進(jìn)行初步探討。在中文和英文數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，核主成分分析用來作特征