分布式爬蟲的動態(tài)負(fù)載均衡方法研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，搜索引擎成為互聯(lián)網(wǎng)用戶查找信息的第一入口，作為搜索引擎核心組件的網(wǎng)絡(luò)爬蟲用于在互聯(lián)網(wǎng)上采集數(shù)據(jù)?，F(xiàn)在網(wǎng)絡(luò)信息正以指數(shù)級的速度不斷膨脹，網(wǎng)頁采集的完整性和實(shí)時(shí)性的難度越來越大，這給爬蟲系統(tǒng)帶來了巨大的挑戰(zhàn)。
　　如何充分地利用計(jì)算機(jī)的硬件資源和網(wǎng)絡(luò)帶寬高效地采集頁面,同時(shí)減少由URL判重所帶來的大量通信開銷，是分布式爬蟲系統(tǒng)研究的核心問題。針對這個(gè)問題，本文以提高分布式爬蟲系統(tǒng)的性能為核心，進(jìn)行了以下研究：

2、r>　　深入研究了分布式系統(tǒng)優(yōu)缺點(diǎn)、分布式系統(tǒng)的任務(wù)調(diào)度、網(wǎng)絡(luò)爬蟲工作原理和爬行策略的基礎(chǔ)上，結(jié)合網(wǎng)絡(luò)爬蟲自身特點(diǎn)、互聯(lián)網(wǎng)結(jié)構(gòu)特點(diǎn)和站點(diǎn)頁面間的相似性，提出了基于在線反饋的站點(diǎn)規(guī)模動態(tài)預(yù)測算法。站點(diǎn)規(guī)模動態(tài)預(yù)測算法首先對站點(diǎn)規(guī)模進(jìn)行分類，然后根據(jù)互聯(lián)網(wǎng)結(jié)構(gòu)的疏密性和爬蟲的爬行原理，提出了站點(diǎn)增長比的概念，在爬蟲爬行的過程中，在線采集計(jì)算增長比的信息，通過計(jì)算出的增長比的反饋，對站點(diǎn)規(guī)模進(jìn)行逐步預(yù)測，并基于采集的數(shù)據(jù)進(jìn)行了算法模型的訓(xùn)練和

3、驗(yàn)證；
　　將基于在線反饋的站點(diǎn)規(guī)模動態(tài)預(yù)測算法融入到分布式爬蟲系統(tǒng)中，可根據(jù)預(yù)測出的站點(diǎn)規(guī)模，減少URL判重所帶來的大量通信開銷。針對站點(diǎn)規(guī)模計(jì)算出爬行器所承載的任務(wù)負(fù)荷量，通過監(jiān)視器定時(shí)收集爬行器自身負(fù)荷當(dāng)量，基于以上兩點(diǎn)計(jì)算爬行器間的負(fù)載系數(shù)，并以此為依據(jù)進(jìn)行任務(wù)調(diào)度，以達(dá)到負(fù)載均衡的效果；
　　結(jié)合以上理論基礎(chǔ)和研究成果，本文設(shè)計(jì)并開發(fā)了基于站點(diǎn)規(guī)模的動態(tài)任務(wù)分割算法的分布式爬蟲系統(tǒng)，該分布式爬蟲系統(tǒng)能很好地處理新增