基于Hadoop的微博話題分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、新浪微博是當(dāng)下非常流行的互聯(lián)網(wǎng)媒體，用戶可以這個(gè)平臺(tái)上發(fā)表自己的觀點(diǎn)。每天發(fā)布的微博總量有數(shù)億之多，這些數(shù)據(jù)極為龐大卻又非常的碎片化。為了及時(shí)掌控輿情動(dòng)態(tài)以及幫助用戶獲得最新熱點(diǎn)，就需要從微博數(shù)據(jù)中獲取熱點(diǎn)話題。雖然新浪微博官方已經(jīng)提供了“熱門話題”的功能，但是其中含有較多手動(dòng)編輯的因素，這種辦法不僅浪費(fèi)人力而且不能反映真實(shí)情況。為了解決這個(gè)問(wèn)題，本文設(shè)計(jì)并且實(shí)現(xiàn)了一個(gè)基于Hadoop的微博熱點(diǎn)話題發(fā)現(xiàn)系統(tǒng)。
　　論文介紹了常用的

2、話題檢測(cè)技術(shù)，分析了LDA主題模型的發(fā)展過(guò)程與其意義，接著介紹了目前流行的分布式計(jì)算框架的特性與適用場(chǎng)景。在對(duì)微博原始數(shù)據(jù)進(jìn)行分析之后，通過(guò)觀察可以發(fā)現(xiàn)其中有很多廣告類型的垃圾數(shù)據(jù)，為了減少信息噪聲，通過(guò)使用排序、過(guò)濾與分詞等預(yù)處理操作對(duì)原始微博數(shù)據(jù)進(jìn)行清洗，最終得到了百G級(jí)別的訓(xùn)練用數(shù)據(jù)集。之后本文利用微博文本的碎片化的特點(diǎn)，設(shè)計(jì)了一種改進(jìn)版的LDA模型。該模型所使用的新型抽樣方法可以極大的減少模型訓(xùn)練的時(shí)間復(fù)雜度，所使用的改進(jìn)版的數(shù)