基于主題模型的文本相似度計(jì)算研究與實(shí)現(xiàn).pdf

1、當(dāng)前互聯(lián)網(wǎng)已經(jīng)發(fā)展到移動(dòng)互聯(lián)網(wǎng)時(shí)代，不僅僅只有傳統(tǒng)的PC機(jī)可以瀏覽互聯(lián)網(wǎng)，手機(jī)、平板電腦等各種移動(dòng)設(shè)備也可以接入互聯(lián)網(wǎng)，計(jì)算機(jī)的信息處理已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代。而這些大數(shù)據(jù)中，很多都是以文本的形式出現(xiàn)，比如Google每天的搜索日志，Twitter以及微博每天的更新評(píng)論數(shù)據(jù)，F(xiàn)acebook以及騰訊每天用戶產(chǎn)生的新數(shù)據(jù)等，這些數(shù)據(jù)不是GB量級(jí)的，而是每天都是TB量級(jí)的數(shù)據(jù)，如何對(duì)這些浩瀚的文本進(jìn)行分析挖掘以幫助企業(yè)決策或者提高產(chǎn)品的用戶體驗(yàn)

2、是當(dāng)前文本挖掘的主要問題。本文的主要工作在于文本的相似度計(jì)算以及文本相似度計(jì)算的相關(guān)技術(shù)，主要的研究工作在于探討一種魯棒的相似度計(jì)算方法，使其應(yīng)用范圍盡可能的廣泛。首先介紹了向量空間模型及其存在的問題，然后是探討了針對(duì)這些問題的一些解決方案，主要工作如下：
　　 首先，簡(jiǎn)要介紹了向量空間模型的基本原理以及基于向量空間模型的相似度計(jì)算方法。接著以同樣的方式簡(jiǎn)要介紹了一下主題模型以及基于主題模型的相似度計(jì)算方法。并且詳細(xì)介紹了主題模

3、型的集合意義和代數(shù)意義，從中可以看出主要模型較之向量空間模型有更加豐富的數(shù)學(xué)和統(tǒng)計(jì)基礎(chǔ)。
　　 其次，簡(jiǎn)要介紹了LSI，pLSI，LDA模型以及它們的參數(shù)估計(jì)方法。LDA方法之后主題模型才剛剛興起，本文介紹了當(dāng)前針對(duì)主題模型一些研究進(jìn)展情況，主要進(jìn)展其中在加入新的可觀測(cè)變量，面向特點(diǎn)任務(wù)，以及引入語(yǔ)義信息者三個(gè)方面。
　　 然后本文介紹了一種基于pLSI的詞共現(xiàn)聚類算法，并在共現(xiàn)詞組的基礎(chǔ)上建模文本，認(rèn)為文本的共現(xiàn)詞組越