基于增量式爬蟲(chóng)的搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、目前網(wǎng)絡(luò)信息豐富全面且多元化，為了從海量數(shù)據(jù)中獲得目標(biāo)信息，或者搜索關(guān)鍵信息，搜索引擎技術(shù)應(yīng)運(yùn)而生。在搜索引擎技術(shù)中，用來(lái)獲取和分析數(shù)據(jù)的單元為網(wǎng)絡(luò)爬蟲(chóng)，現(xiàn)有的網(wǎng)絡(luò)爬蟲(chóng)種類(lèi)很多，功能不一，由于爬蟲(chóng)自身的特點(diǎn)，也常被應(yīng)用于黑客技術(shù)領(lǐng)域。目前最常見(jiàn)也是應(yīng)用范圍最廣的網(wǎng)絡(luò)爬蟲(chóng)就是為搜索引擎提供檢索數(shù)據(jù)支持的網(wǎng)絡(luò)爬蟲(chóng)，這些網(wǎng)絡(luò)爬蟲(chóng)為了給用戶提供最新且全面的檢索數(shù)據(jù)，每時(shí)每刻都在運(yùn)行。
　　本文通過(guò)對(duì)搜索引擎數(shù)據(jù)獲取采用的爬蟲(chóng)機(jī)制，對(duì)網(wǎng)絡(luò)爬

2、蟲(chóng)進(jìn)行研究，在分析現(xiàn)有網(wǎng)絡(luò)爬蟲(chóng)種類(lèi)和特點(diǎn)以及搜索引擎工作原理的基礎(chǔ)上，對(duì)網(wǎng)絡(luò)爬蟲(chóng)的運(yùn)行機(jī)制、運(yùn)行原理以及特點(diǎn)等進(jìn)行了分析研究，尤其對(duì)增量式爬蟲(chóng)機(jī)制進(jìn)行了研究，并根據(jù)增量式爬蟲(chóng)機(jī)制，設(shè)計(jì)和實(shí)現(xiàn)了搜索引擎系統(tǒng)。
　　本文首先對(duì)網(wǎng)絡(luò)爬蟲(chóng)及其運(yùn)行原理進(jìn)行了研究，然后借助JavaEE設(shè)計(jì)模式在Linux平臺(tái)下實(shí)現(xiàn)基礎(chǔ)搜索引擎系統(tǒng)，將一般式爬蟲(chóng)和增量式爬蟲(chóng)分別搭建在搜索引擎系統(tǒng)中，并對(duì)不同的爬蟲(chóng)機(jī)制進(jìn)行數(shù)據(jù)獲取和更新的實(shí)驗(yàn)，通過(guò)實(shí)驗(yàn)數(shù)據(jù)與可視