基于微博熱點話題發(fā)現(xiàn)的關鍵技術研究.pdf

1、近年來，隨著經(jīng)濟的不斷發(fā)展，互聯(lián)網(wǎng)的時代也愈演愈烈，互聯(lián)網(wǎng)思維滲透各大行業(yè)，其浪潮的快捷性和自由性獲得了更多人的認可，越來越多的人更喜歡通過網(wǎng)絡來表達自己的觀點，特別是微博，越來越受到人們的關注，成為人們的一種娛樂方式，更是成為一種能夠發(fā)布即時信息的生活服務平臺。但由于微博的參與人數(shù)多，數(shù)據(jù)量大，數(shù)據(jù)格式復雜等特點，人工獲取微博的熱點信息變得幾乎不可能。如何從大量的并且雜亂無章的微博碎片信息中獲取到時事民生的熱點問題，并進行微博輿情的分

2、析成為當前研究的熱點。
　　本文主要對微博熱點話題發(fā)現(xiàn)的相關技術進行了研究，并借助這些技術設計實現(xiàn)了一個微博熱點話題發(fā)現(xiàn)的系統(tǒng)。目前在微博熱點事件發(fā)現(xiàn)領域，主要包含的技術包括微博數(shù)據(jù)獲取、中文分詞及特征向量提取、機器學習中的分類和聚類算法以及話題發(fā)現(xiàn)算法。本文設計并實現(xiàn)的微博熱點話題發(fā)現(xiàn)系統(tǒng)主要由微博采集子系統(tǒng)、微博預處理子系統(tǒng)、話題發(fā)現(xiàn)子系統(tǒng)、應用管理子系統(tǒng)和數(shù)據(jù)中心五大模塊組成。論文首先驗證了常見爬蟲系統(tǒng)無法獲取微博數(shù)據(jù)的情況

3、，進而利用微博運營商對外提供的API開發(fā)了數(shù)據(jù)采集系統(tǒng);其次本文主要通過使用了Word2vec向量來獲取段文本的語義信息，避免了傳統(tǒng)的文本特征表示方法往往不能表達語義信息、或者不能表達短文本的主題信息的缺陷;然后通過對Single-Pass聚類算法和DBSCAN聚類算法進行了結(jié)合，使用采樣的策略來對歷史話題和新增數(shù)據(jù)進行博文的話題聚類;之后將支持向量機分類算法和K最近鄰分類算法進行結(jié)合，提升了話題識別的準確度;最后在之前工作的基礎上，完