一種專(zhuān)題式搜索引擎Spider的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)(Intemet)的高速發(fā)展，人們的信息來(lái)源得到了極大的豐富，信息獲取方式也隨之而改變。這為人類(lèi)帶來(lái)機(jī)遇的同時(shí)也帶來(lái)了挑戰(zhàn)。在Web信息呈現(xiàn)幾何級(jí)數(shù)增長(zhǎng)的情況下，如何能夠快速而準(zhǔn)確地獲取所需信息成為研究的熱點(diǎn)之一。專(zhuān)題式搜索引擎(或?qū)I(yè)搜索引擎)就是在這樣的背景下孕育而生。 搜索引擎包含多個(gè)模塊，其中網(wǎng)絡(luò)蜘蛛Spider主要負(fù)責(zé)為搜索引擎提供數(shù)據(jù)來(lái)源。作為專(zhuān)業(yè)搜索引擎的Spider程序，對(duì)所處理的頁(yè)面與專(zhuān)業(yè)的相關(guān)性有特

2、殊要求。本論文從專(zhuān)業(yè)搜索引擎的特殊要求出發(fā)，提出以下創(chuàng)新點(diǎn)：(1)借鑒操作系統(tǒng)中CPU時(shí)間片輪換策略的思想，提出站點(diǎn)深度優(yōu)先搜索模型，對(duì)同站點(diǎn)頁(yè)面進(jìn)行集中抓??；(2)提出頁(yè)面和站點(diǎn)加權(quán)算法，以權(quán)值的形式表征頁(yè)面、站點(diǎn)與專(zhuān)業(yè)的相關(guān)性，使Spider對(duì)相關(guān)度高的站點(diǎn)重點(diǎn)抓取；(3)提出二維矢量工作隊(duì)列數(shù)據(jù)結(jié)構(gòu)，保證站點(diǎn)深度優(yōu)先搜索以及權(quán)值對(duì)站點(diǎn)處理時(shí)間的影響。 最后，使用化工專(zhuān)業(yè)詞庫(kù)，通過(guò)實(shí)驗(yàn)對(duì)系統(tǒng)進(jìn)行測(cè)試和運(yùn)行，驗(yàn)證系統(tǒng)的可行性，