基于詞嵌入文本聚類技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展和電子媒體的繁榮，新聞文本數(shù)據(jù)的規(guī)模日益增長，而對新聞文本的組織、摘要和瀏覽會(huì)花費(fèi)大量的時(shí)間。為了保證新聞的時(shí)效性，同時(shí)讓讀者方便地獲取特定種類的新聞，并使新聞的閱讀量最大化，需要對大規(guī)模的新聞文檔集進(jìn)行快速的分組。
　　文本聚類技術(shù)做為一種非監(jiān)督的機(jī)器學(xué)習(xí)方法，能夠在沒有人工標(biāo)注的情況下，對未分類的文本進(jìn)行快速的初步分組，因此具有一定的靈活性和較高的自動(dòng)化處理能力，故而使用文本聚類技術(shù)可以對大規(guī)模的新聞文本集進(jìn)行

2、有效地組織、摘要和導(dǎo)航。
　　然而，傳統(tǒng)的基于詞袋模型（Bag of Words）的文本聚類方法可以根據(jù)詞頻統(tǒng)計(jì)信息等特征對文本中詞性進(jìn)行加權(quán)，區(qū)別特征貢獻(xiàn)度，但無法捕捉文本中詞匯的語義關(guān)系；基于主題模型的文本聚類方法可以捕捉到新聞中詞語與文章的共現(xiàn)，提取新聞的隱含主題，卻不能捕捉詞與詞之間的共現(xiàn)關(guān)系；近年由Mikolov等人提出的Skip-Gram方法通過統(tǒng)計(jì)詞與上下文的共現(xiàn)，訓(xùn)練得到的詞向量能夠攜帶詞匯間的語義關(guān)聯(lián)，在很多機(jī)器

3、學(xué)習(xí)任務(wù)中表現(xiàn)優(yōu)秀，但卻無法處理漢語中約20％的多義詞、同義詞和近義詞對文本語義的影響；而且，流行的文本聚類方法大都在詞語、短語這樣短文本上進(jìn)行聚類是表現(xiàn)較好，卻無法有效在新聞這樣的長文本上進(jìn)行聚類。
　　本文提出一個(gè)新的新聞文本聚類方法TDE-DC(Topic Document Embedding based Document Clustering)，通過結(jié)合Skip-Gram模型、主題模型和TF-IDF加權(quán)方法的優(yōu)點(diǎn)，克服各模

4、型單獨(dú)使用時(shí)的缺陷來獲得更好的新聞長文本聚類效果。TDE-DC文本聚類方法主要完成了如下工作：1）使用詞匯和詞匯所在文本的隱含主題一起作為輸入，通過Skip-Gram模型對上下文（Context）中的詞匯進(jìn)行預(yù)測，從而得到同時(shí)攜帶詞匯間隱含語義關(guān)系和隱含主題的主題詞向量（Topic Word Embedding），即獲得了高質(zhì)量的詞向量表示，也有效地克服了漢語中高頻出現(xiàn)的多義詞、同義詞及近義詞對文本含義的特殊影響；2)以TF-IDF值為