并行網(wǎng)絡(luò)爬蟲(chóng)技術(shù)及實(shí)驗(yàn)系統(tǒng)研究.pdf

1、網(wǎng)絡(luò)爬蟲(chóng)程序是一個(gè)下載并儲(chǔ)存網(wǎng)絡(luò)上的Web頁(yè)面和其它Web媒體的應(yīng)用程序，廣泛應(yīng)用于搜索引擎網(wǎng)絡(luò)和以內(nèi)容展示為主的網(wǎng)站。隨著近年來(lái)互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)信息呈現(xiàn)出爆炸性的增長(zhǎng)趨勢(shì)，傳統(tǒng)的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)已經(jīng)不能滿足人們對(duì)獲取信息準(zhǔn)確性、全面性、及時(shí)性的需求，所以，在搜索引擎中使用并行爬蟲(chóng)技術(shù)是一種有效的方法，同時(shí)更重要的是對(duì)現(xiàn)有的網(wǎng)絡(luò)爬蟲(chóng)程序不斷的加以優(yōu)化，使其質(zhì)量、覆蓋率、效率等指標(biāo)得以加強(qiáng)。在本文中，將設(shè)計(jì)一個(gè)更有效率的并行網(wǎng)絡(luò)爬蟲(chóng)

2、系統(tǒng)，并且使用實(shí)驗(yàn)系統(tǒng)對(duì)網(wǎng)絡(luò)爬蟲(chóng)技術(shù)進(jìn)行研究，具有重要的應(yīng)用價(jià)值。
　　 本文分析了網(wǎng)絡(luò)爬蟲(chóng)技術(shù)在互聯(lián)網(wǎng)領(lǐng)域應(yīng)用的現(xiàn)狀，介紹了多種并行爬蟲(chóng)的架構(gòu)，和與這些爬蟲(chóng)架構(gòu)相關(guān)的基本問(wèn)題。并在此基礎(chǔ)上分析了網(wǎng)絡(luò)爬蟲(chóng)技術(shù)實(shí)驗(yàn)研究流程，總結(jié)出了評(píng)價(jià)網(wǎng)絡(luò)爬蟲(chóng)程序優(yōu)劣性的指標(biāo)，并將這些指標(biāo)公式化。同時(shí)圍繞這些公式化的指標(biāo)提出了網(wǎng)絡(luò)爬蟲(chóng)技術(shù)實(shí)驗(yàn)系統(tǒng)的總體結(jié)構(gòu)和功能結(jié)構(gòu)，并著重研究了為了對(duì)這些指標(biāo)進(jìn)行優(yōu)化涉及到的關(guān)鍵問(wèn)題和技術(shù)?；谶@些理解，運(yùn)用先進(jìn)