針對熱點事件的微博客信息采集與分析系統(tǒng).pdf

1、互聯(lián)網(wǎng)用戶規(guī)模急劇膨脹，受眾群體越來越多，網(wǎng)絡虛擬世界與現(xiàn)實物理世界的邊界越來越趨于模糊。尤其是近年來，互聯(lián)網(wǎng)虛擬經(jīng)濟發(fā)展迅速，網(wǎng)絡上的商業(yè)行為日趨頻繁，基于互聯(lián)網(wǎng)“大數(shù)據(jù)”信息的商業(yè)應用層出不窮。另一方面，互聯(lián)網(wǎng)上的海量信息缺乏有效管理，一些突發(fā)事件的不實言論容易誤導民眾，影響民眾生活安定。因此，對互聯(lián)網(wǎng)上海量信息的數(shù)據(jù)挖掘和分析越來越受到商業(yè)結(jié)構(gòu)、官方機構(gòu)部門的重視，顯著意識到其對商業(yè)行為、社會熱點導向等的重要影響。特別是社交網(wǎng)絡的

2、興起，以微博客為代表，迅速形成了一個熱門的互聯(lián)網(wǎng)主流應用，用戶群上升迅速，熱點信息在此快速聚集和發(fā)散，深刻地影響當今社會的各個方面。因此，對微博客上的熱點事件的快速、采集、分析、檢測技術(shù)的研究也成為“大數(shù)據(jù)”背景下的一個重要研究方向。
　　本文以國內(nèi)兩大主要微博客數(shù)據(jù)源----新浪微博、騰訊微博的主要特點為主，分析了微博客數(shù)據(jù)的特點，并在服務商已有API接口的基礎上，提出了基于模版的方法來提高信息采集的廣度，并基于此設計了針對微博

3、客熱點事件的信息采集器與采集部署方案。該方案能很好的滿足熱點事件的快速、全面采集需求。社交網(wǎng)絡上熱點事件的傳播途徑分析和信息源頭分析是一項具有相當挑戰(zhàn)的工作，通過微博客上信息傳播行為的長期觀察，本文提出一種結(jié)合顯性、隱性傳播方式的信息傳播通道重構(gòu)模型，該模型在利用文本相似度的基礎上，結(jié)合知網(wǎng)進行語義擴展，進而提高熱點事件傳播途徑有效獲取的準確率。本文設計、實現(xiàn)了一套針對熱點事件的微博客信息采集和分析原型系統(tǒng)，該系統(tǒng)采用Myeclipse