基于專業(yè)搜索引擎網(wǎng)絡(luò)蜘蛛搜索策略研究.pdf

1、基于專業(yè)搜索引擎網(wǎng)絡(luò)蜘蛛(Spider)的設(shè)計(jì)主要包括結(jié)構(gòu)體系設(shè)計(jì)和搜索策略的設(shè)計(jì)。 關(guān)于專業(yè)搜索引擎體系結(jié)構(gòu)方面的研究和設(shè)計(jì)，研究大多從負(fù)載平衡和搜索空間劃分上給予分析。沒(méi)有發(fā)現(xiàn)從網(wǎng)絡(luò)蜘蛛的采集對(duì)象-網(wǎng)絡(luò)資源的分布特點(diǎn)上進(jìn)行分析研究。對(duì)于規(guī)模相對(duì)較小的專業(yè)搜索引擎，其網(wǎng)絡(luò)資源采集器網(wǎng)絡(luò)蜘蛛(Spider)一般也不可能擁有很大采集規(guī)模。因此專業(yè)搜索引擎搜索的專業(yè)資源的分布情況是Spider體系結(jié)構(gòu)設(shè)計(jì)必須考慮的問(wèn)題。 對(duì)

2、于搜索策略，通用搜索引擎一般使用基于IP地址窮盡式搜索和基于圖遍歷的廣度或深度優(yōu)先的搜索策略。上述策略既浪費(fèi)了系統(tǒng)資源又達(dá)不到專業(yè)資源的搜索目的，顯然不能適應(yīng)專業(yè)搜索引擎的搜索需要。目前，相關(guān)研究中已經(jīng)有基于啟發(fā)式的搜索策略被提出，基于Web結(jié)構(gòu)挖掘和基于內(nèi)容相似度的計(jì)算都被用于專業(yè)搜索引擎的搜索策略的設(shè)計(jì)中。如何用較小的代價(jià)來(lái)實(shí)現(xiàn)搜索策略的優(yōu)化?這都是專業(yè)搜索引擎搜索策略研究需要解決的問(wèn)題。 作為一個(gè)理論與實(shí)踐相結(jié)合的研究課題

3、，本文作者主要工作和研究成果包括： 1、首先研究了網(wǎng)絡(luò)蜘蛛搜索算法，歸納總結(jié)出目前搜索策略的主要分類，選擇了目前國(guó)內(nèi)外典型的搜索算法進(jìn)行比較，通過(guò)大量的實(shí)驗(yàn)結(jié)果圖表展示了幾種策略算法各自的優(yōu)缺點(diǎn)。 2、提出采用加入專業(yè)領(lǐng)域因素的Page-Rank算法-引進(jìn)入鏈分類評(píng)價(jià)、鏈接所在網(wǎng)站專業(yè)相關(guān)度加權(quán)的綜合鏈接價(jià)值評(píng)價(jià)策略，作為后面原型系統(tǒng)…分布式智能Spider的策略算法。 3、設(shè)計(jì)實(shí)現(xiàn)了基于分布式的智能Spider