基于LDA的微博話題聚類研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，伴隨著web2.0技術(shù)的應(yīng)用，像微信、微博等互聯(lián)網(wǎng)應(yīng)用的普及使得短文本以及碎片化信息時(shí)代的到來(lái)。這些信息漸漸普及并且蔓延到了人們生活的每個(gè)角落，極大地豐富了人們的生活也豐富了互聯(lián)網(wǎng)的世界，同時(shí)，給互聯(lián)網(wǎng)的數(shù)據(jù)挖掘帶來(lái)了更多的機(jī)遇和挑戰(zhàn)。短文本與傳統(tǒng)文本最大的不同就是簡(jiǎn)短，用語(yǔ)不規(guī)范、新生詞語(yǔ)跟網(wǎng)絡(luò)流行語(yǔ)的快速增長(zhǎng)。由于這些特點(diǎn)，傳統(tǒng)針對(duì)長(zhǎng)文本的文本聚類方法并不適用。所以，快速并且有效進(jìn)行短文聚類，從而從短文本中獲取

2、有效的信息成為了當(dāng)下學(xué)者們的研究熱點(diǎn)，對(duì)數(shù)據(jù)挖掘有著重大的意義。
　　對(duì)于類似于微博這種短文本研究技術(shù)，話題聚類是非常重要也是最基礎(chǔ)的部分，在這一部分中，碎片化的信息能夠有效地進(jìn)行歸類整理，從而發(fā)掘出明確的話題信息。發(fā)掘出的話題是微博中的熱點(diǎn)話題，所以討論熱點(diǎn)話題的微博數(shù)量會(huì)比較龐大，這些微博往往跟現(xiàn)實(shí)生活有所聯(lián)系。傳統(tǒng)的聚類方法很多，各種改進(jìn)算法以及相結(jié)合算法也層出不窮，達(dá)到的效果也往往不錯(cuò)。
　　LDA（Latent D

3、irichlet Allocation，潛在狄利克雷分布）主題模型是一個(gè)比較成熟也比較完善的話題聚類方法，但是由于LDA會(huì)把每個(gè)文檔屬于每個(gè)主題的概率計(jì)算出來(lái)，也就是把每個(gè)文檔根據(jù)概率歸為某個(gè)主題，然而有些文檔并沒(méi)有主題，或者主題不明確，這樣就無(wú)法辨別出來(lái)，本文的數(shù)據(jù)集一部分帶標(biāo)注的數(shù)據(jù)，一部分是人為添加的無(wú)標(biāo)注集，這樣，帶標(biāo)注的數(shù)據(jù)集就帶有明確的主題，也就是我們所說(shuō)的熱點(diǎn)話題，而不帶標(biāo)注的就是屬于垃圾主題的微博。本文嘗試?yán)胻opic

4、 rank算法進(jìn)行話題排序，根據(jù)得到的排序提取特色主題的關(guān)鍵詞，接著對(duì)微博進(jìn)行主題聚類，采用本文提出的文本關(guān)聯(lián)詞算法對(duì)歸類后的文本數(shù)據(jù)進(jìn)行優(yōu)化調(diào)整，并嘗試?yán)肔DA得到主題關(guān)鍵詞和文本關(guān)聯(lián)詞算法進(jìn)行聚類分析，使用這兩種方法的到的結(jié)果與標(biāo)注集進(jìn)行實(shí)驗(yàn)對(duì)比分析。在實(shí)驗(yàn)的研究中，作者的主要工作如下：
　?。?）針對(duì)LDA主題模型的進(jìn)行話題聚類時(shí)，并沒(méi)有區(qū)分出主題的明確性，利用topic rank算法對(duì)計(jì)算話題的特色性，并根據(jù)打分進(jìn)行降序

5、列，根據(jù)得到的排序可以得到相應(yīng)的特色主題以及跟主題有關(guān)的微博。
　?。?）針對(duì)被歸類后的微博，提出文本關(guān)聯(lián)詞算法對(duì)聚類的結(jié)果進(jìn)行優(yōu)化調(diào)整，調(diào)整后的的準(zhǔn)確率、召回率和F值都得到了提高。
　?。?）利用LDA得到的主題關(guān)鍵詞，結(jié)合文本關(guān)鍵詞算法進(jìn)行聚類分析，得到的準(zhǔn)確率、召回率和F值相較于LDA話題聚類和優(yōu)化后的結(jié)果都得到了更多的提高。
　　上面敘述實(shí)驗(yàn)中用到的數(shù)據(jù)集能夠模擬微博數(shù)據(jù)，一部分帶熱點(diǎn)話題的微博是帶有明確的主題