基于云計算的微博輿情監(jiān)控系統(tǒng)研究.pdf

1、目前，社會中的很多熱點話題往往都是從微博開始傳播，如何從微博中發(fā)現(xiàn)熱點話題并對熱點話題做輿情分析，是非常有現(xiàn)實意義的工作。本文針對微博輿情的特點，研究了微博輿情監(jiān)控系統(tǒng)的實現(xiàn)方法。介紹Hadoop平臺處理大數(shù)據(jù)的優(yōu)勢和原理，實現(xiàn)了數(shù)據(jù)采集、文本模型表示、話題發(fā)現(xiàn)以及輿情分析的功能。本文的主要工作和研究內(nèi)容如下：
　　第一，本文在數(shù)據(jù)采集模塊采用新浪微博API和網(wǎng)絡(luò)爬蟲技術(shù)相結(jié)合實現(xiàn)微博數(shù)據(jù)采集?；谖⒉崴言~檢索實現(xiàn)相關(guān)微博的定位

2、，能夠在短時間內(nèi)獲取大量領(lǐng)域相關(guān)的微博數(shù)據(jù)。
　　第二，在熱點話題發(fā)現(xiàn)方法的改進上，采用了基于新詞發(fā)現(xiàn)的微博文本主題發(fā)現(xiàn)方法，將其分為三個步驟：中文分詞、LDA主題建模、主題聚類。在中文分詞環(huán)節(jié)，加入了新詞發(fā)現(xiàn)模塊，提高了分詞準確率。在建立文本模型時，采用LDA主題模型，提高了話題發(fā)現(xiàn)的準確率。
　　第三，為了提高LDA建模的準確度，在構(gòu)建文本模型前加入文本分類模塊，解決了原有的話題發(fā)現(xiàn)方法在應(yīng)用于微博文本時精度不高以及將同