并行網(wǎng)頁(yè)抓取系統(tǒng)設(shè)計(jì).pdf

1、搜索引擎的出現(xiàn)為用戶及其需要的信息之間建立了一座橋梁。不過(guò)，隨著網(wǎng)頁(yè)數(shù)量的快速增長(zhǎng)，搜索引擎已經(jīng)無(wú)法搜索互聯(lián)網(wǎng)的所有網(wǎng)頁(yè)，對(duì)下載的網(wǎng)頁(yè)進(jìn)行及時(shí)更新也成了問(wèn)題。如何在有限的資源下搜索最有價(jià)值的網(wǎng)頁(yè)，以及如何對(duì)網(wǎng)頁(yè)進(jìn)行最有效的更新，已經(jīng)成為現(xiàn)代搜索引擎的重要研究方向。 本文對(duì)搜索引擎的發(fā)展歷史及現(xiàn)代搜索引擎的功能結(jié)構(gòu)進(jìn)行了介紹，并討論了搜索引擎技術(shù)中網(wǎng)頁(yè)爬行和更新存在的問(wèn)題，在分析了現(xiàn)有實(shí)現(xiàn)技術(shù)優(yōu)劣勢(shì)的基礎(chǔ)上設(shè)計(jì)了具有高度系統(tǒng)靈活性

2、和擴(kuò)展性的并行網(wǎng)頁(yè)抓取系統(tǒng)，實(shí)現(xiàn)了網(wǎng)頁(yè)的并行快速抓取。 為了保證優(yōu)先抓取高質(zhì)量的網(wǎng)頁(yè)，系統(tǒng)設(shè)計(jì)了基于網(wǎng)頁(yè)鏈接重要性和路徑重要性的啟發(fā)式搜索算法，首先根據(jù)上述兩個(gè)重要性計(jì)算網(wǎng)頁(yè)的綜合權(quán)重，然后根據(jù)網(wǎng)頁(yè)的綜合權(quán)重大小調(diào)整對(duì)網(wǎng)頁(yè)的爬行順序。爬行器在啟發(fā)式搜索策略的指導(dǎo)下優(yōu)先爬行那些比較重要的網(wǎng)頁(yè)，提高了抓取網(wǎng)頁(yè)的質(zhì)量。為了實(shí)現(xiàn)網(wǎng)頁(yè)庫(kù)的高效更新，系統(tǒng)設(shè)計(jì)了基于貝葉斯的網(wǎng)頁(yè)庫(kù)更新算法，通過(guò)估算網(wǎng)頁(yè)變化頻率類別實(shí)現(xiàn)網(wǎng)頁(yè)庫(kù)中網(wǎng)頁(yè)的分類更新，提