分布式聚焦網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、傳統(tǒng)的通用搜索引擎不能滿足人們對搜索引擎越來越個性化的需求，提供某個專門領(lǐng)域搜索服務(wù)的垂直搜索引擎應(yīng)運而生。垂直搜索引擎需要專門的聚焦網(wǎng)絡(luò)爬蟲按照其特定的要求從網(wǎng)絡(luò)中抓取數(shù)據(jù)，同時還要求聚焦網(wǎng)絡(luò)爬蟲抓取范圍的選擇更精確、發(fā)現(xiàn)新頁面更及時。
　　 本文在現(xiàn)有聚焦網(wǎng)絡(luò)爬蟲的理論基礎(chǔ)上，根據(jù)新的應(yīng)用趨勢，結(jié)合實際需求實現(xiàn)了一個分布式的聚焦網(wǎng)絡(luò)爬蟲系統(tǒng)。該系統(tǒng)具有高性能易擴展的分布式架構(gòu)、友好的Web配置界面并實現(xiàn)了快速發(fā)現(xiàn)新頁面的機制

2、、精準(zhǔn)提取頁面字段的功能。
　　 該系統(tǒng)改進(jìn)了傳統(tǒng)的分布式聚焦網(wǎng)絡(luò)爬蟲的系統(tǒng)框架，將原有的文檔服務(wù)器和抓取服務(wù)器合二而一，同時繞開管理服務(wù)器直接使用抓取服務(wù)器來進(jìn)行URL除重。管理服務(wù)器負(fù)責(zé)系統(tǒng)的管理、抓取任務(wù)的分配并提供簡單易用的Web配置界面，這使得普通用戶也能使用該系統(tǒng)將網(wǎng)絡(luò)上分散的信息聚合成格式化的數(shù)據(jù)。抓取服務(wù)器負(fù)責(zé)具體的頁面抓取和處理，實現(xiàn)了動態(tài)擴展的URL除重機制，并能對頁面字段進(jìn)行精準(zhǔn)地抽取，這使得該系統(tǒng)能夠為垂