基于向量空間模型的中文文本聚類方法的研究.pdf

1、文本聚類是聚類分析領(lǐng)域的一個重要研究分支，是聚類方法在文本處理領(lǐng)域的應(yīng)用。 本文對基于空間向量模型的中文文本聚類算法做了較深入的討論。利用開源語料庫，實現(xiàn)并討論了現(xiàn)有比較流行的多種算法的優(yōu)劣，并基于語料庫的實際聚類效果，就維度確定、特征選擇、文本表示等方面提出優(yōu)化方案。 本文首先回顧了中文文本聚類領(lǐng)域的已有成果，列舉了文本聚類領(lǐng)域在文本表示、文本相似度衡量、文本信息特征集縮減等方面的基礎(chǔ)研究工作。另外，本文回顧了現(xiàn)有的中

2、文文本聚類算法，以及常用的文本聚類效果評價指標(biāo)。 在回顧了已有成果的基礎(chǔ)上，本文針對向量空間表示模型，基于搜狐研發(fā)中心搜狗實驗室的開源語料，設(shè)計并實現(xiàn)了幾種比較流行的聚類算法，并根據(jù)實驗結(jié)果，對這幾種算法在多個層面上做了比對。實驗表明，層次法的聚類效果較好，但時間消耗較大；而劃分法在聚類效果的表現(xiàn)上不夠穩(wěn)定，但時間消耗相對較小。 在對實驗結(jié)果進(jìn)行分析后，本文還針對現(xiàn)有算法存在的一些問題，在維度確定、特征選擇、文本表示等多