基于增量式爬蟲的搜索引擎系統(tǒng)的設計與實現(xiàn).pdf

1、目前網(wǎng)絡信息豐富全面且多元化，為了從海量數(shù)據(jù)中獲得目標信息，或者搜索關鍵信息，搜索引擎技術應運而生。在搜索引擎技術中，用來獲取和分析數(shù)據(jù)的單元為網(wǎng)絡爬蟲，現(xiàn)有的網(wǎng)絡爬蟲種類很多，功能不一，由于爬蟲自身的特點，也常被應用于黑客技術領域。目前最常見也是應用范圍最廣的網(wǎng)絡爬蟲就是為搜索引擎提供檢索數(shù)據(jù)支持的網(wǎng)絡爬蟲，這些網(wǎng)絡爬蟲為了給用戶提供最新且全面的檢索數(shù)據(jù)，每時每刻都在運行。
　　本文通過對搜索引擎數(shù)據(jù)獲取采用的爬蟲機制，對網(wǎng)絡爬

2、蟲進行研究，在分析現(xiàn)有網(wǎng)絡爬蟲種類和特點以及搜索引擎工作原理的基礎上，對網(wǎng)絡爬蟲的運行機制、運行原理以及特點等進行了分析研究，尤其對增量式爬蟲機制進行了研究，并根據(jù)增量式爬蟲機制，設計和實現(xiàn)了搜索引擎系統(tǒng)。
　　本文首先對網(wǎng)絡爬蟲及其運行原理進行了研究，然后借助JavaEE設計模式在Linux平臺下實現(xiàn)基礎搜索引擎系統(tǒng)，將一般式爬蟲和增量式爬蟲分別搭建在搜索引擎系統(tǒng)中，并對不同的爬蟲機制進行數(shù)據(jù)獲取和更新的實驗，通過實驗數(shù)據(jù)與可視