基于布谷鳥(niǎo)搜索算法的主題爬蟲(chóng)搜索策略研究_3822.pdf

1、隨著網(wǎng)絡(luò)信息量的快速增長(zhǎng)，互聯(lián)網(wǎng)已經(jīng)成為最大的資訊庫(kù)，網(wǎng)頁(yè)數(shù)量呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，導(dǎo)致通用搜索引擎檢索針對(duì)性下降，不能很好滿足用戶對(duì)網(wǎng)頁(yè)檢索的個(gè)性化要求。與傳統(tǒng)搜索引擎相比，主題搜索引擎有選擇的搜索主題相關(guān)網(wǎng)頁(yè)，向有特定需要的用戶提供檢索服務(wù)，從而能更好地滿足用戶個(gè)性化檢索需求。主題爬蟲(chóng)作為主題搜索引擎工作的第一步，作用非常重要，其效果好壞取決于搜索策略，所以搜索策略的好壞直接影響搜索引擎的性能，更影響用戶的檢索體驗(yàn)。因此研究主題爬蟲(chóng)用何種

2、搜索策略抓取網(wǎng)頁(yè)具有非常重要的意義。
　　論文首先綜述搜索引擎的組成結(jié)構(gòu)及種類，剖析主題爬蟲(chóng)與通用爬蟲(chóng)的區(qū)別，并總結(jié)了目前幾種常見(jiàn)的主題爬蟲(chóng)搜索策略，介紹了網(wǎng)絡(luò)爬蟲(chóng)需要用到的重要技術(shù)，如網(wǎng)頁(yè)去重、分詞，運(yùn)用向量空間模型判斷主題相關(guān)性，以及MySQL數(shù)據(jù)庫(kù)技術(shù)。
　　本文提出一種基于布谷鳥(niǎo)搜索算法的主題爬蟲(chóng)搜索策略。該算法具有參數(shù)少、易操作、易實(shí)現(xiàn)、隨機(jī)路徑優(yōu)和全局尋優(yōu)能力強(qiáng)等優(yōu)點(diǎn)，能夠很好地解決目前主題爬蟲(chóng)的兩個(gè)問(wèn)題：“主題

3、漂移”和“隧道現(xiàn)象”，即易陷入局部網(wǎng)頁(yè)鏈接和對(duì)鏈接距離較遠(yuǎn)但相關(guān)度高的網(wǎng)頁(yè)不能實(shí)時(shí)抓取，從而提高檢索質(zhì)量。論文設(shè)計(jì)了對(duì)比實(shí)驗(yàn)，與基于Hits算法搜索策略和Breadth-First算法搜索策略對(duì)比，比較三種算法的查準(zhǔn)率，實(shí)驗(yàn)結(jié)果顯示本文提出的搜索策略的網(wǎng)頁(yè)查準(zhǔn)率優(yōu)于另外兩種算法。
　　本文研發(fā)了一套適用于主題搜索引擎需要的分布式、參數(shù)可動(dòng)態(tài)配置、功能可擴(kuò)展的主題爬蟲(chóng)程序。采用多線程的網(wǎng)頁(yè)信息采集方法，提高爬蟲(chóng)的運(yùn)行速度，減少時(shí)間浪