并行網(wǎng)絡(luò)爬蟲技術(shù)及實驗系統(tǒng)研究.pdf

1、網(wǎng)絡(luò)爬蟲程序是一個下載并儲存網(wǎng)絡(luò)上的Web頁面和其它Web媒體的應(yīng)用程序，廣泛應(yīng)用于搜索引擎網(wǎng)絡(luò)和以內(nèi)容展示為主的網(wǎng)站。隨著近年來互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)信息呈現(xiàn)出爆炸性的增長趨勢，傳統(tǒng)的網(wǎng)絡(luò)爬蟲技術(shù)已經(jīng)不能滿足人們對獲取信息準(zhǔn)確性、全面性、及時性的需求，所以，在搜索引擎中使用并行爬蟲技術(shù)是一種有效的方法，同時更重要的是對現(xiàn)有的網(wǎng)絡(luò)爬蟲程序不斷的加以優(yōu)化，使其質(zhì)量、覆蓋率、效率等指標(biāo)得以加強。在本文中，將設(shè)計一個更有效率的并行網(wǎng)絡(luò)爬蟲

2、系統(tǒng)，并且使用實驗系統(tǒng)對網(wǎng)絡(luò)爬蟲技術(shù)進行研究，具有重要的應(yīng)用價值。
　　 本文分析了網(wǎng)絡(luò)爬蟲技術(shù)在互聯(lián)網(wǎng)領(lǐng)域應(yīng)用的現(xiàn)狀，介紹了多種并行爬蟲的架構(gòu)，和與這些爬蟲架構(gòu)相關(guān)的基本問題。并在此基礎(chǔ)上分析了網(wǎng)絡(luò)爬蟲技術(shù)實驗研究流程，總結(jié)出了評價網(wǎng)絡(luò)爬蟲程序優(yōu)劣性的指標(biāo)，并將這些指標(biāo)公式化。同時圍繞這些公式化的指標(biāo)提出了網(wǎng)絡(luò)爬蟲技術(shù)實驗系統(tǒng)的總體結(jié)構(gòu)和功能結(jié)構(gòu)，并著重研究了為了對這些指標(biāo)進行優(yōu)化涉及到的關(guān)鍵問題和技術(shù)?；谶@些理解，運用先進