主題蜘蛛的研究及實(shí)現(xiàn).pdf

1、隨著INERNET的迅猛發(fā)展，網(wǎng)絡(luò)資源呈幾何式增長(zhǎng)，人們?cè)絹?lái)越不滿足于大型搜索引擎所提供的服務(wù)，開始關(guān)注各種各樣的主題式搜索引擎。主題式搜索引擎主要針對(duì)某一特定領(lǐng)域、某一特定主題或某一特定人群，提供內(nèi)容集中而深入的信息與服務(wù)。主題蜘蛛作為主題式搜索引擎的重要部分，它的好壞直接關(guān)系到所搜集到資源的質(zhì)量，因此如何設(shè)計(jì)一個(gè)高質(zhì)量的主題蜘蛛就成為了主題式搜索引擎研究的一個(gè)重要課題。 本文主要針對(duì)的是主題蜘蛛的研究和實(shí)現(xiàn)，其主要研究?jī)?nèi)容如

2、下：通用蜘蛛與主題蜘蛛的設(shè)計(jì)結(jié)構(gòu)比較、設(shè)計(jì)時(shí)需要注意的性能瓶頸分析、主題搜索策略及主題相關(guān)度計(jì)算算法的研究等等。取得了以下一些成果： (1)研究并設(shè)計(jì)了適合主題搜索引擎需要的分布式、動(dòng)態(tài)配置、可擴(kuò)展的主題蜘蛛體系結(jié)構(gòu)； (2)針對(duì)主題搜索引擎的需要并結(jié)合種子網(wǎng)站的概念，提出了如何快速、高效搜集種子網(wǎng)站的方案； (3)根據(jù)系統(tǒng)的需求，改進(jìn)了空間向量模型算法； (4)在理論研究的基礎(chǔ)上，開發(fā)了適合主題搜索引擎