基于Hadoop的警用輿情分析系統(tǒng)的設計與實現(xiàn).pdf

1、隨著經濟社會的發(fā)展以及互聯(lián)網的普及，尤其是移動互聯(lián)網用戶的快速增長，人們的生活越來越離不開網絡，從網上購物，獲取資訊，發(fā)布個人對某些事件的意見和看法都變得越來越方便。同時，網絡信息的呈現(xiàn)方式也越來越多樣化，從電子郵件，門戶網站，BBS論壇到現(xiàn)在的博客，社區(qū)，即時通訊以及SNS社交網絡等，都極大的豐富了網絡用戶參與互動的方式。廣大網民通過互聯(lián)網發(fā)布個人對某些公共事務的看法以及對其持有的情緒的總和被稱為網絡輿情。由于網絡輿情的特點，在熱點問

2、題上會引發(fā)廣泛的社會影響，特別是負面的影響，如果不能合理的引導，負面的輿論極大威脅著社會公共秩序和社會安全穩(wěn)定。作為社會穩(wěn)定和安全的捍衛(wèi)者，增強網絡輿論的實時監(jiān)測能力，及時對負面輿情進行有效的引導，積極化解網絡的負面輿論信息，已經成為公安機關的重要工作之一。
　　上述工作在傳統(tǒng)的輿情監(jiān)控軟件已經可以實現(xiàn)，然而由于互聯(lián)網存儲著規(guī)模碩大的海量信息，傳統(tǒng)的輿情監(jiān)控系統(tǒng)已經不足以準確、快速的實現(xiàn)對輿情的實時監(jiān)控。衡量輿情系統(tǒng)性能的一個重要

3、指標就是處理輿情信息的實時性。為了實現(xiàn)輿情的實時監(jiān)控，本課題將Hadoop關鍵技術引入到警用輿情分析系統(tǒng)中，以互聯(lián)網數(shù)據(jù)結構為基礎，結合Hadoop的關鍵技術特性，設計并實現(xiàn)了基于Hadoop的警用輿情分析系統(tǒng)，利用Hadoop分布式海量數(shù)據(jù)處理性能，實現(xiàn)高性能的海量數(shù)據(jù)挖掘，幫助警務部門實現(xiàn)對網絡輿情的實時監(jiān)控，維護社會的安定。
　　本文從公安機關的工作需求入手，詳細分析了公安網絡管理工作的運行模式，利用社會網絡分析技術，對互聯(lián)

4、網數(shù)據(jù)進行挖掘分析。本文的主要包括如下三部分：
　　1）分布式網絡數(shù)據(jù)爬蟲，詳細講述了該爬蟲系統(tǒng)的構建方式，模塊功能，實現(xiàn)方法等。該網絡爬蟲系統(tǒng)基于多網關出口，能有效解決網站對爬蟲的屏蔽，提高了爬蟲的時間效率和應用效率，解決系統(tǒng)的數(shù)據(jù)來源問題；
　　2）Hadoop輿情分布式文件系統(tǒng)，作為警用輿情分析系統(tǒng)的存儲結構，將采集來的數(shù)據(jù)存入該文件系統(tǒng)中，將這些數(shù)據(jù)進行信息抽取，網頁去重，并結合Lucene和Solr對網頁建立相關索