面向垂直搜索引擎的聚焦網(wǎng)絡(luò)爬蟲關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著Internet的飛速發(fā)展，信息資源的規(guī)模已變得極其龐大。在海量的網(wǎng)絡(luò)信息資源中，快速、精確地找到用戶所需的信息變得日益困難。此時(shí)，搜索引擎應(yīng)運(yùn)而生。搜索引擎為用戶查找信息提供了極大地便利，故而被人們廣泛使用。網(wǎng)絡(luò)爬蟲是搜索引擎的核心模塊，負(fù)責(zé)采集網(wǎng)絡(luò)上的各種網(wǎng)頁。網(wǎng)絡(luò)爬蟲的爬行策略和性能極大地影響了搜索引擎的服務(wù)質(zhì)量，因此，網(wǎng)絡(luò)爬蟲值得研究與改良。由于龐大的網(wǎng)絡(luò)規(guī)模和及時(shí)響應(yīng)需求，通用搜索引擎提供的檢索結(jié)果往往充斥著許多無關(guān)數(shù)據(jù)，

2、無法令用戶滿意。垂直搜索引擎，是為提供更細(xì)致精準(zhǔn)的搜索服務(wù)而發(fā)展的新一代搜索引擎。本文的研究對象是垂直搜索引擎中的聚焦網(wǎng)絡(luò)爬蟲。聚焦爬蟲專注于特定領(lǐng)域的信息采集，它的資源采集效率較高。聚焦爬蟲為爬蟲領(lǐng)域的發(fā)展提供了新的思路，具有較高的研究、實(shí)用價(jià)值。
　　本文首先概述了搜索引擎的發(fā)展?fàn)顩r和網(wǎng)絡(luò)爬蟲的研究現(xiàn)狀，闡述了搜索引擎的基本原理及工作流程，然后深入探討了聚焦爬蟲系統(tǒng)所涉及的各項(xiàng)關(guān)鍵技術(shù)。最后基于上述理論給出了一個(gè)聚焦爬蟲系統(tǒng)的

3、工程化實(shí)現(xiàn)。
　　本文在聚焦爬蟲系統(tǒng)的爬行策略上，借鑒Fish-Search算法與Shark-Search算法的算法流程，在其基礎(chǔ)上動(dòng)態(tài)地調(diào)節(jié)主題相關(guān)度的閾值，以避免主題網(wǎng)頁團(tuán)之間的隧道問題。同時(shí)本文借用了成熟的文本分析方法，即向量空間模型中的TF-IDF算法，通過改進(jìn)的方法來計(jì)算網(wǎng)頁的主題相關(guān)度與URL鏈接的主題相關(guān)度。在網(wǎng)頁的正文內(nèi)容提取方面，利用網(wǎng)頁的標(biāo)簽樹結(jié)構(gòu)，通過計(jì)算文字/標(biāo)簽密度來提取網(wǎng)頁正文。實(shí)驗(yàn)表明，與以傳統(tǒng)方法實(shí)