垂直搜索引擎主題爬蟲研究.pdf

1、隨著互聯(lián)網(wǎng)絡(luò)的迅猛發(fā)展,搜索引擎已經(jīng)成為網(wǎng)民的第一應(yīng)用。為了在浩若煙海的網(wǎng)絡(luò)中能查找到更合適的信息,更專業(yè)化更高準(zhǔn)確率的垂直搜索引擎已成為人們獲取所需的知識(shí)必不可少的工具。以何種策略有效地訪問(wèn)網(wǎng)絡(luò)資源提高搜索效率是搜索引擎中網(wǎng)絡(luò)爬蟲研究的主要問(wèn)題。本文的主要工作和研究成果如下:
　　1.首先對(duì)垂直搜索引擎主題爬蟲研究中的相關(guān)理論做了分析。對(duì)搜索引擎的分類、通用搜索引擎的結(jié)構(gòu)、垂直搜索引擎以及垂直搜索的四個(gè)關(guān)鍵技術(shù)做了研究。對(duì)網(wǎng)絡(luò)爬

2、蟲及關(guān)鍵技術(shù)、爬蟲架構(gòu)需求、主題爬蟲特別之處做了相關(guān)研究。分別解析了通用爬蟲和主題爬蟲的模型及模塊。
　　2.分析了搜索引擎中網(wǎng)絡(luò)爬蟲的搜索策略。對(duì)搜索策略的定義及分類做了研究,分析了各種搜索算法的優(yōu)缺點(diǎn)。比較了基于內(nèi)容評(píng)價(jià)的搜索策略和基于鏈接結(jié)構(gòu)評(píng)價(jià)的搜索策略,對(duì)這兩種應(yīng)用廣泛的搜索策略的典型算法做了詳細(xì)分析。
　　3.本文提出了一種基于綜合價(jià)值的搜索策略。此策略先從分析主題相似度的角度入手,通過(guò)內(nèi)容評(píng)價(jià)搜索策略來(lái)發(fā)現(xiàn)與主

3、題相關(guān)的URL,然后根據(jù)鏈接結(jié)構(gòu)對(duì)URL排序來(lái)決定爬行順序,以提高整體搜索效率?？紤]到基于內(nèi)容評(píng)價(jià)的搜索策略的網(wǎng)絡(luò)爬蟲僅僅在距離相關(guān)頁(yè)面集較近的地方搜索時(shí)表現(xiàn)出良好的性能,缺乏“全局性”,普遍存在“近視”的缺點(diǎn)?；阪溄咏Y(jié)構(gòu)評(píng)價(jià)的搜索策略,雖考慮了鏈接的結(jié)構(gòu)特征,但會(huì)出現(xiàn)搜索偏離主題的“主題漂移”問(wèn)題及計(jì)算復(fù)雜度高等缺點(diǎn)?？紤]到采用單一的評(píng)價(jià)方法不能有效預(yù)測(cè)鏈接URL的真實(shí)價(jià)值,為了提高鏈接價(jià)值預(yù)測(cè)的準(zhǔn)確性,將兩類評(píng)價(jià)標(biāo)準(zhǔn)相結(jié)合。