分布式在線(xiàn)圖書(shū)爬蟲(chóng)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在這個(gè)互聯(lián)網(wǎng)時(shí)代，電子化的產(chǎn)品已經(jīng)深入到生活的方方面面，各種紙質(zhì)的圖書(shū)也同時(shí)被各種格式的電子書(shū)所取代。只需下載到手機(jī)或者其他移動(dòng)終端里，即可進(jìn)行閱讀。但是在眾多的圖書(shū)之中如何進(jìn)行選擇，如何大規(guī)模獲取圖書(shū)資源，一個(gè)圖書(shū)爬蟲(chóng)就顯得非常重要。本文設(shè)計(jì)和實(shí)現(xiàn)分布式在線(xiàn)圖書(shū)爬蟲(chóng)系統(tǒng)，采用了Scarpy架構(gòu)，并通過(guò)Redis作為URL緩存隊(duì)列進(jìn)行分布式擴(kuò)展，使爬蟲(chóng)的效率大大的提升，對(duì)Redis進(jìn)行高可用配置，提升系統(tǒng)高可用性，并能夠完成增量爬取，保

2、證對(duì)于圖書(shū)的更新能夠第一時(shí)間掌握。
　　本研究主要內(nèi)容包括：⑴調(diào)度器模塊，包括URL調(diào)度，URL去重等功能，主要實(shí)現(xiàn)了對(duì)URL按照安全哈希算法進(jìn)行去重和按照URL的優(yōu)先級(jí)進(jìn)行爬取，并通過(guò)Redis實(shí)現(xiàn)了爬蟲(chóng)的分布式。⑵URL爬取模塊，通過(guò)分配給它的URL，下載對(duì)應(yīng)的頁(yè)面，并對(duì)這個(gè)頁(yè)面進(jìn)行解析，對(duì)于提取到的URL，繼續(xù)發(fā)送給URL緩存隊(duì)列，并把頁(yè)面里面的圖片、文件、圖書(shū)詳細(xì)信息等各種要爬取的信息發(fā)送給流水線(xiàn)進(jìn)行下一步處理。⑶流水線(xiàn)模

3、塊，對(duì)于URL爬取模塊傳遞給它的信息進(jìn)行規(guī)范化，通過(guò)不同的流水線(xiàn)進(jìn)行存儲(chǔ)，把圖片、文件、圖書(shū)詳細(xì)信息這些數(shù)據(jù)傳到不同的存儲(chǔ)單元中去。⑷監(jiān)控模塊，對(duì)每個(gè)爬蟲(chóng)的狀態(tài)進(jìn)行監(jiān)控，監(jiān)控每個(gè)爬蟲(chóng)所爬取的URL數(shù)量，爬蟲(chóng)的運(yùn)行情況，爬蟲(chóng)運(yùn)行了多長(zhǎng)時(shí)間，并監(jiān)控每個(gè)爬蟲(chóng)所在設(shè)備的狀態(tài)。⑸通過(guò)功能驗(yàn)證表明新的Scrapy爬蟲(chóng)系統(tǒng)滿(mǎn)足分布式圖書(shū)爬蟲(chóng)系統(tǒng)的要求，能夠?qū)Ψ植际綀D書(shū)網(wǎng)站進(jìn)行有效的爬取，現(xiàn)在項(xiàng)目還是在測(cè)試階段，下一階段會(huì)對(duì)圖書(shū)內(nèi)容和圖書(shū)的插圖等信息進(jìn)