基于SOM算法的中文文本聚類.pdf

1、文本挖掘是數(shù)據(jù)挖掘領(lǐng)域中一個(gè)熱門的研究方向。在文本挖掘領(lǐng)域中，文本聚類技術(shù)有助于縮小數(shù)據(jù)搜索空間，提高查詢精度。作為一種無(wú)監(jiān)督的機(jī)器學(xué)習(xí)方法，文本聚類技術(shù)已經(jīng)成為對(duì)文本信息進(jìn)行有效地組織、摘要和導(dǎo)航的重要手段，為越來(lái)越多的研究人員所關(guān)注?？梢哉f(shuō)，文本聚類的研究具有重要的理論意義和實(shí)際使用價(jià)值。 自組織特征映射神經(jīng)網(wǎng)絡(luò)SOM在聚類應(yīng)用中具有自組織映射、可視化好、計(jì)算效率高、聚類效果好等良好特性。因此，本文將SOM神經(jīng)網(wǎng)絡(luò)應(yīng)用到中文

2、文本聚類中，研究其在文本聚類中的有關(guān)特性。 本文首先介紹了中文文本聚類中幾項(xiàng)預(yù)處理關(guān)鍵技術(shù)：分詞、數(shù)據(jù)清洗、特征詞選取、文本向量表示。在此基礎(chǔ)上，本文實(shí)現(xiàn)了文本的預(yù)處理模型：從已知詞匯庫(kù)中根據(jù)詞性構(gòu)造了一個(gè)初步的中文停用詞表，用來(lái)對(duì)已分好詞的文章進(jìn)行停用詞篩選。在剩下的那些詞中，根據(jù)詞的有效性評(píng)價(jià)，選取出一定數(shù)量的特征詞。基于這些特征詞，利用向量空間模型VSM，把每篇文章表示成計(jì)算機(jī)能夠處理的實(shí)數(shù)向量。 本文繼而研究了對(duì)

3、于類別已知的文本，利用SOM網(wǎng)絡(luò)和已知類別標(biāo)注方法，實(shí)現(xiàn)先驗(yàn)類別知識(shí)指導(dǎo)下的文本聚類。針對(duì)傳統(tǒng)SOM算法聚類效果不佳的情況，本文使用核SOM算法進(jìn)行改進(jìn)，并且通過(guò)實(shí)驗(yàn)比較了傳統(tǒng)SOM算法和核SOM算法在文本聚類中的聚類精度和魯棒性。 如果文本的類別事先是未知的，單純使用SOM算法是無(wú)法實(shí)現(xiàn)自動(dòng)聚類的。因此，本文將SOM網(wǎng)絡(luò)和K均值聚類算法相結(jié)合，研究了類別未知文本的兩階段自動(dòng)聚類。相比K均值聚類模型：前者聚類速度快，聚類結(jié)果可視