基于向量空間的文本聚類方法與實現(xiàn).pdf

1、文本聚類是數(shù)據(jù)挖掘領(lǐng)域中的一個十分重要的分支。文本聚類技術(shù)能夠有效的將網(wǎng)頁上的文本信息進行歸類，方便人們在海量的網(wǎng)絡(luò)信息中查找有用的信息，提高網(wǎng)絡(luò)的服務(wù)質(zhì)量。
　　本文的研究內(nèi)容是基于網(wǎng)頁中的中文文本的聚類，通過聚類將網(wǎng)頁上的文本具有一定相似度的文本歸為一類。由于漢語文本通常是由漢語單字或者單詞作為單位所組成的連續(xù)語句，它不像英文文本以空格作為分界標(biāo)志，因此在對中文文本聚類之前，需要將整句話切割成為小的詞匯單元。另外，還需要將文本

2、中不是關(guān)鍵的詞語進行去除，保留能夠代表該文本內(nèi)容的重要詞語。
　　然而文本聚類算法不能夠直接在原始中文文本的形式上進行處理，因為這些文本內(nèi)容是人類所使用的自然語言，屬于非結(jié)構(gòu)化文本，計算機很難對其語義進行處理。文本結(jié)構(gòu)化處理就是將非結(jié)構(gòu)化文本轉(zhuǎn)化為計算機能夠處理的結(jié)構(gòu)化文本表示模式，根據(jù)文本的特點和文本處理的要求來選擇合適的文本表示模型，而在本文中將選用向量空間模型(VSM)，因為向量空間模型是將上下文表示為特征項和權(quán)值集合的向量

3、，從而將聚類操作變換為向量空間中的向量運算。目前有很多種方法將文本信息轉(zhuǎn)化為向量，在這里將選取經(jīng)典的基于向量空間的特征權(quán)重計算方法詞頻-逆向文檔頻率算法(TF-IDF)對中文文本進行結(jié)構(gòu)化處理，因為TF-IDF刻畫了特征項在整個文本集的分布重要程度。
　　雖然通過向量轉(zhuǎn)換的文本能夠被計算機處理，但是由于文本集合中的每個文本都是由大量的特征組成，它們的維數(shù)往往很高，這將會影響到文本聚類的效果。并且各自的文本向量可能存在于不同的向量空

4、間，給計算相似度帶來困難。所以在文本聚類中需要建立從原始特征空間到另一維數(shù)較低的特征空間的映射。這時就要對特征進行優(yōu)化。而潛在語義分析(LSA)中的奇異值分解(SVD)不但能夠?qū)⑾蛄靠臻g模型中的非正交的多維特征映射到維數(shù)較少的一個潛在語義空間中，而且能基本保持原空間的語義特性，從而實現(xiàn)對特征空間的降維和降噪處理。
　　文本經(jīng)過降維處理后就可以通過聚類算法進行聚類。目前聚類算法中基本分為基于劃分方法、基于層次方法、基于密度方法和基于