互聯(lián)網(wǎng)輿情信息挖掘與群體行為分析.pdf

1、隨著互聯(lián)網(wǎng)的普及,國內(nèi)互聯(lián)網(wǎng)用戶的不斷增多,網(wǎng)絡(luò)輿情逐漸滲透社會、經(jīng)濟、政治各個層面,網(wǎng)絡(luò)虛擬群體業(yè)已成為推動互聯(lián)網(wǎng)輿情發(fā)展不可忽視的力量。因此,基于互聯(lián)網(wǎng)的輿情信息挖掘技術(shù)和網(wǎng)絡(luò)群體行為研究越來越受到廣泛關(guān)注。輿情是指一定時期內(nèi)一定范圍內(nèi)的社會群體對某些社會現(xiàn)象和現(xiàn)實的主觀反映?；ヂ?lián)網(wǎng)輿情信息挖掘技術(shù)作為輿情主題檢測的有效手段逐漸成為研究熱點。然而,現(xiàn)有的互聯(lián)網(wǎng)輿情信息挖掘技術(shù)在處理海量網(wǎng)絡(luò)信息時曝露出很多問題,在網(wǎng)絡(luò)群體行為分析方面

2、研究尚不成熟,因此亟需在互聯(lián)網(wǎng)輿情信息挖掘和群體行為分析的理論體系和技術(shù)方法上實現(xiàn)突破。
　　 本文利用網(wǎng)絡(luò)信息挖掘的方法分析了互聯(lián)網(wǎng)輿情信息挖掘的流程,針對網(wǎng)絡(luò)輿情產(chǎn)生、傳播的特點,對傳統(tǒng)網(wǎng)絡(luò)信息抓取和預處理技術(shù)進行了改進。此外根據(jù)輿情主題檢測的特點和要求對傳統(tǒng)的文本聚類算法進行了改進?；谏鐣W(wǎng)絡(luò)分析方法對網(wǎng)絡(luò)輿情群體的組織結(jié)構(gòu)和行為規(guī)律進行了分析,并以博客圈子和論壇小組為例進行了拓撲分析和中心度分析,總結(jié)出了這兩種典型網(wǎng)絡(luò)

3、群體的結(jié)構(gòu)和行為。最后,本文基于上述研究,進行了互聯(lián)網(wǎng)輿情監(jiān)控原型系統(tǒng)的架構(gòu)和功能設(shè)計。主要研究內(nèi)容如下:
　　 網(wǎng)絡(luò)信息抓取和預處理技術(shù)研究:在網(wǎng)絡(luò)信息抓取階段,結(jié)合互聯(lián)網(wǎng)輿情信息實時更新,傳播速度快的特點,本文設(shè)計了并發(fā)式增量式網(wǎng)絡(luò)爬蟲以滿足網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)對不同網(wǎng)頁來源的數(shù)據(jù)進行采集的需求,同時也解決了大規(guī)模網(wǎng)頁爬行的效率問題。在信息預處理階段,針對新聞和博客網(wǎng)頁、BBS網(wǎng)頁結(jié)構(gòu)不同的特點采用了不同的凈化技術(shù),采用HTML

4、 Parser提取新聞和博客網(wǎng)頁正文,根據(jù)BBS網(wǎng)頁高度結(jié)構(gòu)化的特點設(shè)計了基于DOM樹和模板的BBS結(jié)構(gòu)化信息提取,最終獲得了可用于文本聚類的純文本文檔。
　　 互聯(lián)網(wǎng)輿情信息挖掘算法,即文本聚類算法研究:本文改進了傳統(tǒng)的TF-IDF公式,可以對網(wǎng)絡(luò)信息形成的動態(tài)文本流進行特征提取,并考慮了網(wǎng)絡(luò)新興詞匯對特征提取的影響,給新詞賦予適當?shù)臋?quán)重提高了增量TF-IDF模型的質(zhì)量。在文本聚類階段,在進行文本相似度分析時加入“時間窗”的概

5、念,大大提高了Single-pass增量聚類算法的效率,同時也降低了聚類算法對內(nèi)存的消耗。
　　 基于社會網(wǎng)絡(luò)分析的網(wǎng)絡(luò)輿情群體行為研究:本文使用社會網(wǎng)絡(luò)分析技術(shù)對基于某一輿情主題而聚集起來的輿情群體進行組織結(jié)構(gòu)分析和行為監(jiān)控,對網(wǎng)絡(luò)群體和虛擬組織進行了拓撲分析、中心度分析和群體分析,并使用可視化社會網(wǎng)絡(luò)工具繪制輿情群體網(wǎng)絡(luò)圖,將輿情群體的行為演變規(guī)律直觀的展示給用戶。
　　 在上述研究基礎(chǔ)上,本文設(shè)計了互聯(lián)網(wǎng)輿情監(jiān)控原