基于Web的垂直搜索引擎的研究.pdf

1、現(xiàn)代網絡的飛速發(fā)展，網上的信息量在以驚人的速度飛快的增長，人們對搜索引擎的要求不斷地提高,為了找到一種更滿足人們需求的搜索引擎,垂直搜索引擎就在發(fā)展中產生了。垂直搜索引擎服務于特定行業(yè)、特定人群,具體問題具體分析,解決了通用搜索引擎的一些不足之處,比以往的通用搜索引擎更占有優(yōu)勢。隨著信息產業(yè)化的發(fā)展,面向專業(yè)方向的搜索需求也越來越多,現(xiàn)在,實現(xiàn)某個專門方向的垂直搜索引擎系統(tǒng)成為搜索引擎的的熱點問題之一。本文在深入研究垂直搜索引擎的關鍵技

2、術的基礎上,分析并設計專業(yè)網絡蜘蛛、索引、檢索的流程,采用了專業(yè)網絡蜘蛛的搜索策略,實現(xiàn)了信息的采集、索引和查詢,構建了垂直搜索引擎系統(tǒng)。本文主要研究內容如下:
　　 (1)專業(yè)網絡蜘蛛:在分析專業(yè)網絡蜘蛛的相關技術上,設計了專業(yè)網絡蜘蛛的搜索策略和流程,研究了基于網頁內容和鏈接結構的兩種搜索策略,并采用了將兩種搜索策略結合的搜索策略,對系統(tǒng)的核心部分網絡蜘蛛進行設計與實現(xiàn)。
　　 (2)索引和中文分詞:本文對索引和中文

3、分詞的算法進行了研究與設計,采用最大化分詞策略的中文分詞算法,并對分詞后的信息建立索引,采用倒排索引形式將索引數(shù)據組織存放到數(shù)據庫,實現(xiàn)信息數(shù)據的索引。
　　 (3)信息檢索技術:本文對檢索的框架結構進行了研究,采用相似度匹配的算法對查詢出的網頁信息進行排序,用戶通過檢索接口查詢關鍵字,將排序后的結果通過接口輸出,并顯示給用戶。
　　 (4)系統(tǒng)設計與實現(xiàn):通過對搜索引擎關鍵技術的探討與研究,對垂直搜索引擎各個模塊進行了