微博熱點話題發(fā)現研究與實現.pdf

1、隨著互聯網的快速發(fā)展以及移動互聯網的全面普及，網民們相互溝通了解的方式越來越多樣化。微博作為一個新興的平臺，以其獨特的靈活性和便捷性，更加受到網民的青睞。微博給人們生活帶來極大便利的同時，也產生了一些副作用，例如一些人使用微博蓄意傳播假消息，給社會安定造成不良的影響。如果能夠及早發(fā)現這些話題，就能及時采取相應的措施。對用戶來說，用戶只能看到自己主頁上的微博消息，無法了解到整個微博網絡中大多數用戶都在討論或者關注哪些事件。因此，及時發(fā)現微

2、博熱點話題是非常有意義的。
　　本文定義了話題的熱度，從定量的角度來表達熱點話題，對于某個話題來說，包含的微博發(fā)布時間越晚，評論數和轉發(fā)數越多，該話題的熱度越高，越有可能是熱點話題。國內外大量學者都在熱點話題發(fā)現上做了許多研究，總結出來大致有聚類算法、LDA模型、情感模型三種方法，或者是在此基礎上進行改進。本文在研究微博熱點話題發(fā)現的過程中，首先需要解決微博語料的問題，傳統(tǒng)的網絡爬蟲無法適用于微博信息抓取，而且微博API也只能抓取

3、本人微博主頁上的微博信息，無法獲取大量的微博信息，所以本文根據微博用戶之間相互關注的關系獲取大量用戶信息，然后抓取這些用戶最新發(fā)表的微博信息。接下來需要對微博進行預處理，包括過濾垃圾微博信息、分詞、去除停用詞、無用信息過濾、特征詞提取、特征權重計算，為每一條微博文本生成特征向量。最后針對微博不斷增加的特點，選擇適合的Single-Pass增量聚類算法，得到多個簇，每個簇代表一個話題，每一個話題下包含許多條微博。為了從話題中選擇出熱點話題

4、，文中定義了話題的熱度，發(fā)布時間越晚、評論數和轉發(fā)數越多的話題，熱度越高，成為熱點話題的可能性越大。
　　從大量學者的研究中發(fā)現，LDA主題模型也能夠用來發(fā)現話題，但是它需要多次迭代，處理大量數據時運行時間比較長。不過LDA主題模型在主題表達方面比較有優(yōu)勢，所以本文將Single-Pass算法與LDA模型結合起來，先利用Single-Pass聚類算法對微博文本聚類，然后利用LDA算法處理每一個簇，最后得到微博熱點話題，這樣比單獨使