網絡輿情爬蟲系統(tǒng)的設計與實現(xiàn).pdf

1、近年來隨著網絡越來越發(fā)達，普及率越來越高，每天、每時、每分、每秒產生在互聯(lián)網上的數據數以億計。這些數據涉及到生活、科技、軍事等等各個領域，方方面面。這些數據有正面的，有負面的。對于很多企業(yè)、單位來說，一個負面信息特別是一個不真實的負面信息的廣泛傳播可能會影響公司股價，影響公司形象，對公司、單位的公信度都會有很大的影響。如何在如此復雜的網絡世界中盡快發(fā)現(xiàn)這些負面信息以及不利于公司、個人的網絡言論就成為了關注的焦點。本系統(tǒng)的目的是為了更好的

2、服務大眾，使公司、企業(yè)、個人用戶能夠盡快發(fā)現(xiàn)對其不利的負面消息，將負面信息扼殺在搖籃中，損失降到最低。
　　本文針對用戶迫切希望盡早在網絡中發(fā)現(xiàn)負面信息的需求，設計并實現(xiàn)了一套網絡輿情爬蟲系統(tǒng)，系統(tǒng)涵蓋如下功能:
　　1、網頁下載與信息過濾:系統(tǒng)采用基于關鍵詞的定向爬取的方式從眾多數據源獲取大量HTML網頁信息。并將已經存在的頁面信息過濾掉。
　　2、關鍵內容抽取:采用基于ontology的抽取方式和基于HTML頁面結

3、構抽取方式相結合的方法針對下載得到的網頁抽取關鍵信息。
　　3、數據更新與存儲:采用改進的泊松過程預測算法和固定爬取時間相結合的方式對數據源網頁信息進行更新;使用MongoDB構建的分片集群數據庫平臺作為系統(tǒng)數據的持久化存儲平臺。
　　4、任務隊列與爬蟲狀態(tài)監(jiān)控:使用構建的任務隊列系統(tǒng)管理和控制爬蟲模塊的任務狀態(tài)。使用HOSTED GRAPHITE對系統(tǒng)的運行狀態(tài)進行實時監(jiān)控。
　　本項目的研究和實現(xiàn)，極大程度上滿足了