基于Lucene的面向主題爬行搜索引擎的應(yīng)用研究.pdf

1、基于主題爬行的搜索引擎，即垂直搜索引擎，又可稱為主題搜索引擎。它與通用搜索引擎的區(qū)別主要體現(xiàn)在資源與服務(wù)上，主題搜索引擎提供的資源都是與某個主題相關(guān)的，服務(wù)上更具有專業(yè)特色，有一定程度的個性化。由于只針對某一特定主題進(jìn)行深入挖掘，所以在特定主題上分類更加細(xì)致更加精確，數(shù)據(jù)也更加全面和深入，資源的更新也相對更加及時。Web資源日新月異的發(fā)展，更新和多元化發(fā)展的速度讓搜索引擎面臨著一個尷尬的境地。通用搜索引擎己無法滿足特定用戶更深入的查詢需

2、求，因而針對特定領(lǐng)域進(jìn)行主題爬行的垂直搜索引擎將會越來越實用以及可行。
　　 本文主要對垂直搜索引擎的核心主題爬行進(jìn)行研究，它的關(guān)鍵技術(shù)包括網(wǎng)頁分類技術(shù)、待爬行URLs優(yōu)先級計算以及主題爬行算法。本文針對關(guān)鍵技術(shù)介紹了基于數(shù)據(jù)挖掘的網(wǎng)頁分類方法，并提出了基于網(wǎng)頁分塊的待爬行URLs優(yōu)先級計算方法，通過利用網(wǎng)頁分塊技術(shù)，以塊為單位來計算待爬行URLs的主題相關(guān)性，通過整個塊的文本來預(yù)測待爬行URLs與主題的相關(guān)度，這樣就可以解決單