基于Labeled-LDA的微博趨勢話題檢測技術(shù)研究.pdf

1、最近幾年，微博由于其便捷性與開放性，迅速成為信息傳播的主力軍。為了把握網(wǎng)絡(luò)輿情動向，快速響應(yīng)突發(fā)網(wǎng)絡(luò)輿情事件，如何從海量的微博文本流中準(zhǔn)確快速地檢測出趨勢話題也成為當(dāng)前研究的一個難點(diǎn)和熱點(diǎn)問題。本文針對基于主題模型的微博趨勢話題檢測技術(shù)展開了研究。
　　首先，分析并總結(jié)了現(xiàn)有基于主題模型趨勢話題檢測方法的優(yōu)缺點(diǎn)和存在的問題。主題模型的研究以 LDA主題模型為代表，分為離線和在線模式。一方面，在兩種模式下，LDA主題模型都能夠識別出

2、語料庫中潛藏的主題信息，但是主題個數(shù)都需要人為預(yù)先設(shè)定合適的值才能使主題模型具有最佳的話題區(qū)分能力，所以主題個數(shù)的自動確定是基于主題模型趨勢話題檢測一個待解決的重要問題；另一方面，在線模式下，由于將每條微博看作是一系列話題的混合分布，每次更新主題模型時文檔-話題分布的先驗(yàn)概率需要重新初始化，合適的先驗(yàn)概率可以使主題模型在采樣時具有更快的收斂速度，所以快速有效的更新策略是基于主題模型趨勢話題檢測另一個關(guān)鍵問題。
　　其次，針對LDA

3、主題模型中主題個數(shù)需要預(yù)先設(shè)定的問題，提出了一個基于Labeled-LDA主題模型的離線檢測方法。所提出的方法先通過趨勢得分計(jì)算方法提取出趨勢關(guān)鍵詞及其爆發(fā)時間窗口，然后以趨勢關(guān)鍵詞來檢索在爆發(fā)時間窗口內(nèi)的相關(guān)微博文本組建文檔，并根據(jù)時間窗口為組建的文檔設(shè)置標(biāo)簽，標(biāo)簽總個數(shù)即為估算的主題個數(shù)；經(jīng)過話題合并后即得到檢測的趨勢話題。評估實(shí)驗(yàn)表明基于Labeled-LDA主題模型，在混淆度方面比傳統(tǒng)的LDA主題模型低，即更具有區(qū)分話題的能力；

4、而在準(zhǔn)確率、召回率和F-measure上都優(yōu)于傳統(tǒng)的LDA主題模型。
　　最后，針對LDA主題模型在線模式中，每次更新主題模型時文檔-話題分布的先驗(yàn)概率需要重新初始化的問題，提出了一個基于Labeled-LDA主題模型的在線檢測方法。在離線檢測方法的基礎(chǔ)上，所提出的方法從語義層面考慮同一時間窗口出現(xiàn)多個話題的情況，并以前一時間窗口文檔-話題分布的后驗(yàn)概率來初始化當(dāng)前時間窗口的先驗(yàn)概率作為更新策略。評估實(shí)驗(yàn)結(jié)果表明基于Labeled