并行爬蟲(chóng)中的負(fù)載平衡模型研究.pdf

1、隨著Internet的迅速發(fā)展，網(wǎng)上信息以爆炸性的速度不斷豐富和擴(kuò)展，搜索引擎成為獲取信息的必需工具，而網(wǎng)絡(luò)爬蟲(chóng)作為網(wǎng)頁(yè)收集工具是搜索引擎的核心組成部分。隨著互聯(lián)網(wǎng)信息量的增大，對(duì)搜索引擎網(wǎng)頁(yè)收集的全面性和及時(shí)性提出了更高的要求，因此爬蟲(chóng)的性能面臨著巨大的挑戰(zhàn)。不僅要求能夠盡可能高效率的下載網(wǎng)頁(yè)，而且要求能夠盡量少的消耗計(jì)算資源和服務(wù)器資源。
　　本文圍繞著提高網(wǎng)絡(luò)爬蟲(chóng)性能的核心需求，在深入研究了爬蟲(chóng)的工作原理和相關(guān)技術(shù)的基礎(chǔ)上，

2、從兩個(gè)角度研究了爬蟲(chóng)的動(dòng)態(tài)負(fù)載平衡：爬蟲(chóng)各任務(wù)并發(fā)執(zhí)行時(shí)的內(nèi)部負(fù)載平衡和對(duì)網(wǎng)絡(luò)利用以及不同web服務(wù)器請(qǐng)求頻率的外部負(fù)載平衡，從多個(gè)方面較大提升了爬蟲(chóng)的運(yùn)行性能。
　　本文的主要成果可歸納為以下幾個(gè)方面：
　　首先，在對(duì)爬蟲(chóng)相關(guān)技術(shù)進(jìn)行深入研究的基礎(chǔ)上，提出了基于流水線多任務(wù)并行的爬蟲(chóng)體系結(jié)構(gòu)，以及采用多線程和緩沖區(qū)的實(shí)現(xiàn)方式，并論證了采用流水線多任務(wù)并行對(duì)性能的提高以及可能造成系統(tǒng)運(yùn)行不穩(wěn)定的問(wèn)題。
　　其次，研究了

3、多任務(wù)并行爬蟲(chóng)系統(tǒng)中的關(guān)鍵問(wèn)題——模塊間負(fù)載平衡問(wèn)題，提出了流水線負(fù)載平衡模型（PLB），以及通過(guò)對(duì)線程數(shù)量以及緩沖區(qū)大小進(jìn)行動(dòng)態(tài)調(diào)整來(lái)達(dá)到平衡的方法，并介紹了所采用的多種優(yōu)化手段。
　　然后，通過(guò)服務(wù)器負(fù)載平衡的思想研究了如何在限定帶寬的條件下進(jìn)行爬行的問(wèn)題。首先提出了基于站點(diǎn)的下載速度預(yù)測(cè)對(duì)帶寬控制的原理與方法，并根據(jù)時(shí)間序列函數(shù)建立了下載速度預(yù)測(cè)模型。同時(shí)在研究“禮貌性”爬行問(wèn)題的基礎(chǔ)上，重點(diǎn)介紹了面向服務(wù)器負(fù)載的禮貌爬行思