網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、在網(wǎng)絡(luò)中，我們可以獲取各種各樣的資源，然而有效的信息搜索難度也是日益加大。要有效的完成信息搜索，則通過(guò)搜索引擎的構(gòu)建就能夠?qū)υ搯?wèn)題有效的解決。
　　所謂的多線(xiàn)程網(wǎng)絡(luò)爬蟲(chóng)程序?qū)嶋H上是由根據(jù)寬度優(yōu)先算法對(duì)指定Web頁(yè)面完成搜索及解析任務(wù)，同時(shí)抓取搜索中獲取的所有URL，同時(shí)進(jìn)行保存，此外，在互聯(lián)網(wǎng)中，將URL視作新入口，完成持續(xù)爬行動(dòng)作，并對(duì)后臺(tái)程序自動(dòng)執(zhí)行。
　　對(duì)于網(wǎng)絡(luò)爬蟲(chóng)而言，其主要應(yīng)用到的技術(shù)包括socket套接字、HT

2、TP協(xié)議、正則表達(dá)式以及windows網(wǎng)絡(luò)編程等技術(shù)，該網(wǎng)絡(luò)爬蟲(chóng)實(shí)際上是能夠在后臺(tái)進(jìn)行運(yùn)行的，其初始的URL是配置文件，實(shí)現(xiàn)爬行主要依靠寬度優(yōu)先算法完成，對(duì)目標(biāo)URL網(wǎng)絡(luò)程序進(jìn)行保存，語(yǔ)言的實(shí)現(xiàn)主要應(yīng)用了C++語(yǔ)言，且調(diào)試環(huán)境為VC6.0，對(duì)于常見(jiàn)搜索任務(wù)就可以執(zhí)行。
　　本論文中，第一章節(jié)對(duì)以英特網(wǎng)為基礎(chǔ)的搜索引擎具有的系統(tǒng)結(jié)構(gòu)進(jìn)行了詳細(xì)的闡述，主體部分則是對(duì)引擎搜索器的設(shè)計(jì)和實(shí)現(xiàn)進(jìn)行具體的描述，其中網(wǎng)絡(luò)爬蟲(chóng)即該搜索器。筆者本論

3、文中的主要工作量包括：
　　1、針對(duì)網(wǎng)絡(luò)爬蟲(chóng)SPIDER，分析了其體系的結(jié)構(gòu)；
　　2、設(shè)計(jì)了系統(tǒng)核心功能模塊部分；
　　3、對(duì)My SQL數(shù)據(jù)庫(kù)進(jìn)行實(shí)現(xiàn)；
　　4、完成隊(duì)列管理，主要利用URL解析完成；
　　5、設(shè)計(jì)各函數(shù)模塊；
　　6、測(cè)試網(wǎng)絡(luò)爬蟲(chóng)的系統(tǒng)。
　　同時(shí)，針對(duì)網(wǎng)絡(luò)爬蟲(chóng)進(jìn)行設(shè)計(jì)以及實(shí)現(xiàn)的內(nèi)容，對(duì)技術(shù)核心詳細(xì)的闡明，也綜合考慮了實(shí)現(xiàn)多線(xiàn)程網(wǎng)絡(luò)爬蟲(chóng)代碼，對(duì)系統(tǒng)實(shí)現(xiàn)了準(zhǔn)確的說(shuō)明，也更有助