山東建筑大學(xué)計(jì)算機(jī)網(wǎng)絡(luò)課程設(shè)計(jì)《基于python的網(wǎng)絡(luò)爬蟲設(shè)計(jì)》

1、山東建筑大學(xué)山東建筑大學(xué)課程設(shè)計(jì)成果報(bào)告題目：基于Python的網(wǎng)絡(luò)爬蟲設(shè)計(jì)課程：計(jì)算機(jī)網(wǎng)絡(luò)A院（部）：管理工程學(xué)院專業(yè)：信息管理與信息系統(tǒng)班級(jí)：學(xué)生姓名：學(xué)號(hào)：指導(dǎo)教師：完成日期：01設(shè)計(jì)目的設(shè)計(jì)目的本課程設(shè)計(jì)是信息管理與信息系統(tǒng)專業(yè)重要的實(shí)踐性環(huán)節(jié)之一，是在學(xué)生學(xué)習(xí)完《計(jì)算機(jī)網(wǎng)絡(luò)》課程后進(jìn)行的一次全面的綜合練習(xí)。本課程設(shè)計(jì)的目的和任務(wù)：1鞏固和加深學(xué)生對(duì)計(jì)算機(jī)網(wǎng)絡(luò)基本知識(shí)的理解和掌握；2培養(yǎng)學(xué)生進(jìn)行對(duì)網(wǎng)絡(luò)規(guī)劃、管理及配置的能力或加深

2、對(duì)網(wǎng)絡(luò)協(xié)議體系結(jié)構(gòu)的理解或提高網(wǎng)絡(luò)編程能力；3提高學(xué)生進(jìn)行技術(shù)總結(jié)和撰寫說(shuō)明書的能力。2設(shè)計(jì)任務(wù)內(nèi)容設(shè)計(jì)任務(wù)內(nèi)容網(wǎng)絡(luò)爬蟲是從web中發(fā)現(xiàn)下載以及存儲(chǔ)內(nèi)容，是搜索引擎的核心部分。傳統(tǒng)爬蟲從一個(gè)或若干初始網(wǎng)頁(yè)的URL開(kāi)始，獲得初始網(wǎng)頁(yè)上的URL，在抓取網(wǎng)頁(yè)的過(guò)程中，不斷從當(dāng)前頁(yè)面上抽取新的URL放入隊(duì)列，直到滿足系統(tǒng)的一定停止條件。參照開(kāi)放源碼分析網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)方法，給出設(shè)計(jì)方案，畫出設(shè)計(jì)流程圖。選擇自己熟悉的開(kāi)發(fā)環(huán)境，實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲抓取頁(yè)面、

3、從而形成結(jié)構(gòu)化數(shù)據(jù)的基本功能，界面適當(dāng)美化。給出軟件測(cè)試結(jié)果。3網(wǎng)絡(luò)爬蟲程序總體設(shè)計(jì)網(wǎng)絡(luò)爬蟲程序總體設(shè)計(jì)在本爬蟲程序中共有三個(gè)模塊：1、爬蟲調(diào)度端：?jiǎn)?dòng)爬蟲，停止爬蟲，監(jiān)視爬蟲的運(yùn)行情況2、爬蟲模塊：包含三個(gè)小模塊，URL管理器、網(wǎng)頁(yè)下載器、網(wǎng)頁(yè)解析器。（1）URL管理器：對(duì)需要爬取的URL和已經(jīng)爬取過(guò)的URL進(jìn)行管理，可以從URL管理器中取出一個(gè)待爬取的URL，傳遞給網(wǎng)頁(yè)下載器。（2）網(wǎng)頁(yè)下載器：網(wǎng)頁(yè)下載器將URL指定的網(wǎng)頁(yè)下載下來(lái)，