基于向量空間模型的中文文本聚類方法的研究.pdf

1、文本聚類是聚類分析領(lǐng)域的一個(gè)重要研究分支，是聚類方法在文本處理領(lǐng)域的應(yīng)用。 本文對(duì)基于空間向量模型的中文文本聚類算法做了較深入的討論。利用開源語(yǔ)料庫(kù)，實(shí)現(xiàn)并討論了現(xiàn)有比較流行的多種算法的優(yōu)劣，并基于語(yǔ)料庫(kù)的實(shí)際聚類效果，就維度確定、特征選擇、文本表示等方面提出優(yōu)化方案。 本文首先回顧了中文文本聚類領(lǐng)域的已有成果，列舉了文本聚類領(lǐng)域在文本表示、文本相似度衡量、文本信息特征集縮減等方面的基礎(chǔ)研究工作。另外，本文回顧了現(xiàn)有的中

2、文文本聚類算法，以及常用的文本聚類效果評(píng)價(jià)指標(biāo)。 在回顧了已有成果的基礎(chǔ)上，本文針對(duì)向量空間表示模型，基于搜狐研發(fā)中心搜狗實(shí)驗(yàn)室的開源語(yǔ)料，設(shè)計(jì)并實(shí)現(xiàn)了幾種比較流行的聚類算法，并根據(jù)實(shí)驗(yàn)結(jié)果，對(duì)這幾種算法在多個(gè)層面上做了比對(duì)。實(shí)驗(yàn)表明，層次法的聚類效果較好，但時(shí)間消耗較大；而劃分法在聚類效果的表現(xiàn)上不夠穩(wěn)定，但時(shí)間消耗相對(duì)較小。 在對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析后，本文還針對(duì)現(xiàn)有算法存在的一些問(wèn)題，在維度確定、特征選擇、文本表示等多