基于Web信息抽取的網(wǎng)絡輿情統(tǒng)計與分析.pdf

1、自1994年中國正式接入Internet起，中國網(wǎng)民規(guī)模呈逐年持續(xù)快速增長的趨勢。據(jù)2015年12月統(tǒng)計數(shù)據(jù)顯示，中國網(wǎng)民已達6.88億，超過半數(shù)的中國人已經(jīng)開始使用互聯(lián)網(wǎng)?；ヂ?lián)網(wǎng)代替?zhèn)鹘y(tǒng)信息以紙質文字材料傳播的形式，成為群眾思想、文化、信息獲取和交流的主要方式，又因為其傳播速度快，波及范圍廣，參與人員多的特點，它也成為社會輿論的主要聚集地。大到震驚世界的朝鮮核問題、轟動全國的天津大爆炸事件，小到某明星參加奧斯卡頒獎典禮摔倒、某高校推出

2、玉米炒提子菜系等，網(wǎng)絡輿情的傳播越來越牽動全社會人們的心。如何從數(shù)量龐大的網(wǎng)絡信息中獲取輿情信息，從而第一時間掌握輿情現(xiàn)狀，預測輿情走勢，及時正確引導輿情走向，對社會健康穩(wěn)定的發(fā)展具有非常重要的意義。
　　本文的研究思路就是在這個背景下產(chǎn)生的，具體的研究內(nèi)容如下：
　?。?）首先對在本文研究過程中使用到的理論知識進行介紹，如Web信息抽取方法、文本表示方法，數(shù)據(jù)降維方法、聚類方法等。
　?。?）針對網(wǎng)絡信息（以新浪微博

3、為例），主要是通過網(wǎng)絡爬蟲技術，大量爬取所需信息。本文采用的是企業(yè)開發(fā)并已投入使用的新聞爬取系統(tǒng)，該系統(tǒng)可以針對不同網(wǎng)頁結構進行合適的DOM解析模板配置，從而方便快捷的進行數(shù)據(jù)爬取。
　?。?）針對短文本的特征，采用具有針對性的處理方式，對表情符號、轉發(fā)鏈接、標點符號、圖片的預處理，主要借助網(wǎng)絡語料庫并輔助以人工標注的方式。對預處理后的數(shù)據(jù)進行切詞處理，本文采用的中文分詞工具是R語言中的Rwordseg程序包。
　?。?）為