基于Scrapy的分布式網(wǎng)絡新聞抓取系統(tǒng)設計與實現(xiàn).pdf

1、在互聯(lián)網(wǎng)快速發(fā)展的推動下，人類生活的基本方式已經(jīng)悄然發(fā)生改變。以往的物質交換方式、信息傳播方式演變?yōu)樾聲r代的“非主流”，互聯(lián)網(wǎng)取而代之成為社會生活的必需品。新聞是生活中信息獲取的最主要途徑之一，隨著網(wǎng)絡的發(fā)展和應用，新聞媒體已經(jīng)演變?yōu)閭鹘y(tǒng)媒體與網(wǎng)絡媒體相融合的新媒體，大眾獲取新聞資訊的途徑不斷增多。網(wǎng)絡新聞的時滯不斷縮小，使得更多社會群體逐漸開始從互聯(lián)網(wǎng)上獲取新聞資訊，基于網(wǎng)絡新聞的大數(shù)據(jù)前沿課題研究越來越熱，科研領域對網(wǎng)絡新聞數(shù)據(jù)的需

2、求不斷增多。在此背景下，論文設計實現(xiàn)分布式網(wǎng)絡新聞抓取系統(tǒng)來抓取網(wǎng)絡新聞數(shù)據(jù)，為相關研究提供數(shù)據(jù)支持。
　　基于研究課題，論文介紹了網(wǎng)絡爬蟲的產(chǎn)生、發(fā)展和工作原理，Scrapy爬蟲框架的結構和工作流程，Scrapy-Redis的組成和各組件功能，Graphite的相關概念。在深入分析網(wǎng)絡新聞爬蟲特點的基礎上，根據(jù)新聞網(wǎng)頁特點設計爬蟲爬取策略和提取字段，在Scrapy框架的基礎上，使用自定義下載中間件避免爬蟲爬行時被網(wǎng)站屏蔽，運用R

3、edis數(shù)據(jù)庫部署主從結構的分布式爬蟲集群，提高數(shù)據(jù)抓取效率，運用Graphite實現(xiàn)系統(tǒng)狀態(tài)可視化，運用Selenium解決了動態(tài)網(wǎng)頁數(shù)據(jù)的抓取問題。文中還設計編寫了系統(tǒng)數(shù)據(jù)處理模塊，主要包括數(shù)據(jù)清洗、編碼轉換、對象添加、數(shù)據(jù)分類等功能。為測試系統(tǒng)的性能，以騰訊網(wǎng)國內(nèi)新聞、國際新聞、社會新聞以及軍事新聞四大新聞欄目為抓取目標，運行10小時，抓取了3萬余條新聞內(nèi)容和數(shù)百萬條評論信息。最后，本文通過三個基礎數(shù)據(jù)分析實驗，從新聞內(nèi)容、網(wǎng)絡媒