垂直搜索引擎中主題網(wǎng)絡(luò)爬蟲(chóng)算法的設(shè)計(jì)與研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，近幾年，傳統(tǒng)的通用搜索引擎已不能滿(mǎn)足人們對(duì)于專(zhuān)業(yè)化、個(gè)性化的信息需求，因此建立面向特定領(lǐng)域的垂直搜索引擎迫在眉睫。主題網(wǎng)絡(luò)爬蟲(chóng)在主題搜索引擎中起著舉足輕重的作用，它設(shè)計(jì)的好壞直接影響著搜索引擎的服務(wù)質(zhì)量。傳統(tǒng)的主題網(wǎng)絡(luò)爬蟲(chóng)主要通過(guò)分析網(wǎng)頁(yè)的全部?jī)?nèi)容來(lái)分析候選URL與主題的相關(guān)性，但現(xiàn)今的網(wǎng)頁(yè)包含的主題越來(lái)越多，這種分析方式可能會(huì)由于網(wǎng)頁(yè)中存在噪音而影響候選URL與主題相關(guān)性的判定。近年來(lái)對(duì)主題爬蟲(chóng)的研究主要集中于兩

2、個(gè)方面:主題相關(guān)性判定和主題爬蟲(chóng)搜索策略。本文針對(duì)傳統(tǒng)的主題網(wǎng)絡(luò)爬蟲(chóng)的不足提出基于一種混合爬行的搜索策略。主要的研究工作包括:
　　(1)文章在研究主題爬蟲(chóng)相關(guān)技術(shù)的基礎(chǔ)上，對(duì)現(xiàn)有的研究成果分別做了闡述，這為文章提出的新的爬蟲(chóng)策略奠定了理論基礎(chǔ)。
　　(2)把樹(shù)的層次型結(jié)構(gòu)應(yīng)用到Bloom Filter去重過(guò)程，提出一種基于傳統(tǒng)BloomFilter的多層Bloom Filter(MLBF)對(duì)抓取的URL去重，每層Bloom

3、 Filter由k個(gè)獨(dú)立的哈希函數(shù)和m位位數(shù)組組成，將URL看成是由”/”分割之后組成的集合，從而將URL的去重問(wèn)題轉(zhuǎn)換成判定樹(shù)的路徑問(wèn)題。實(shí)驗(yàn)結(jié)果分析表明:改進(jìn)后的多層BloomFilter具有更小的誤判率，提升了爬行效率。
　　(3)文章吸取了已有成果的研究精華，充分結(jié)合網(wǎng)頁(yè)內(nèi)容評(píng)價(jià)和網(wǎng)頁(yè)鏈接評(píng)價(jià)兩個(gè)維度提出基于內(nèi)容和鏈接評(píng)價(jià)的一種混合爬行策略。在內(nèi)容評(píng)價(jià)策略上，構(gòu)建以網(wǎng)頁(yè)內(nèi)容和錨文本為輸入的樸素貝葉斯分類(lèi)器分析候選URL與主

4、題的相關(guān)性，在鏈接評(píng)價(jià)策略上，采用高效的HITS算法來(lái)獲得Authority和Hub網(wǎng)頁(yè)。將整個(gè)爬行策略的周期合理分為兩步，提高了網(wǎng)頁(yè)與主題的相關(guān)性。
　　(4)在預(yù)測(cè)候選URL與主題相關(guān)度方面，采用典型的杜威十進(jìn)制分類(lèi)法和鏈接結(jié)構(gòu)分析法等差異化的方法預(yù)測(cè)URL與主題的相關(guān)性，綜合考慮了錨文本、錨文本附近的信息、反向網(wǎng)頁(yè)、反向鏈接與主題的相關(guān)，避免了“主題漂移”現(xiàn)象。
　　(5)對(duì)爬蟲(chóng)效果采用差準(zhǔn)率和模擬查全率來(lái)進(jìn)行評(píng)估，通