基于主題模型和混合模型的微博客交叉話題發(fā)現(xiàn)研究.pdf

1、微博客是一個基于用戶關系的信息分享、傳播以及獲取的平臺。微博已經(jīng)成為互聯(lián)網(wǎng)上的主要信息源之一。跟其他網(wǎng)絡文本不同，微博客內(nèi)容簡單（一般少于140個字）且可以通過各種通訊手段（手機、QQ等）實時發(fā)布，容易在短時間內(nèi)產(chǎn)生大量數(shù)據(jù)，且這些數(shù)據(jù)通常數(shù)量巨大且雜亂無章，所以很難及時準確地獲取感興趣的信息。
　　 話題發(fā)現(xiàn)是自然語言處理領域一個新的研究方向，它能夠把屬于同一話題下的分散的信息有效的匯集并組織起來，從而幫助用戶在大數(shù)據(jù)中快速準

2、確地找到自己感興趣的信息。傳統(tǒng)基于向量空間模型(VSM)和聚類算法相結合的話題檢測算法雖得到廣泛的應用，且取得了不錯的效果，但應用在大規(guī)模微博文本話題發(fā)現(xiàn)時仍存在很多不足:一是用特征詞表示微博文本會出現(xiàn)維度過高、稀疏、同意問題;二是采用文本聚類的話題發(fā)現(xiàn)算法大部分都是基于劃分的，沒有考慮話題之間的關聯(lián)性，所以存在一定的局限性。
　　 在上述基礎上，針對微博文本的特點，采用主題模型作為文本表示模型。常用的主題模型主要有潛在語義分析

3、LSA(LatentSemanticAnalysis)、概率潛在語義分析PLSA(ProbabilityLatentsemanticAnalysis)和潛在狄里克利分布LDA(LatentDirichletAllocation)，其中LDA是當前最流行和常用的主題模型，所以本文使用該模型用于提取微博文本隱主題。為了解決傳統(tǒng)話題發(fā)現(xiàn)算法存在的不足，提出混合模型交叉話題發(fā)現(xiàn)算法用于微博交叉話題發(fā)現(xiàn)。本文設計完成了微博交叉話題發(fā)現(xiàn)系統(tǒng)，在真實