基于專業(yè)搜索引擎網絡蜘蛛搜索策略研究.pdf

1、基于專業(yè)搜索引擎網絡蜘蛛(Spider)的設計主要包括結構體系設計和搜索策略的設計。 關于專業(yè)搜索引擎體系結構方面的研究和設計，研究大多從負載平衡和搜索空間劃分上給予分析。沒有發(fā)現(xiàn)從網絡蜘蛛的采集對象-網絡資源的分布特點上進行分析研究。對于規(guī)模相對較小的專業(yè)搜索引擎，其網絡資源采集器網絡蜘蛛(Spider)一般也不可能擁有很大采集規(guī)模。因此專業(yè)搜索引擎搜索的專業(yè)資源的分布情況是Spider體系結構設計必須考慮的問題。 對

2、于搜索策略，通用搜索引擎一般使用基于IP地址窮盡式搜索和基于圖遍歷的廣度或深度優(yōu)先的搜索策略。上述策略既浪費了系統(tǒng)資源又達不到專業(yè)資源的搜索目的，顯然不能適應專業(yè)搜索引擎的搜索需要。目前，相關研究中已經有基于啟發(fā)式的搜索策略被提出，基于Web結構挖掘和基于內容相似度的計算都被用于專業(yè)搜索引擎的搜索策略的設計中。如何用較小的代價來實現(xiàn)搜索策略的優(yōu)化?這都是專業(yè)搜索引擎搜索策略研究需要解決的問題。 作為一個理論與實踐相結合的研究課題

3、，本文作者主要工作和研究成果包括： 1、首先研究了網絡蜘蛛搜索算法，歸納總結出目前搜索策略的主要分類，選擇了目前國內外典型的搜索算法進行比較，通過大量的實驗結果圖表展示了幾種策略算法各自的優(yōu)缺點。 2、提出采用加入專業(yè)領域因素的Page-Rank算法-引進入鏈分類評價、鏈接所在網站專業(yè)相關度加權的綜合鏈接價值評價策略，作為后面原型系統(tǒng)…分布式智能Spider的策略算法。 3、設計實現(xiàn)了基于分布式的智能Spider