基于java技術(shù)的搜索引擎的研究與實現(xiàn)42971

1、摘要網(wǎng)絡(luò)中的資源非常豐富，但是如何有效的搜索信息卻是一件困難的事情。建立搜索引擎就是解決這個問題的最好方法。本文首先詳細(xì)介紹了基于英特網(wǎng)的搜索引擎的系統(tǒng)結(jié)構(gòu)，然后從網(wǎng)絡(luò)機器人、索引引擎、Web服務(wù)器三個方面進行詳細(xì)的說明。為了更加深刻的理解這種技術(shù)，本人還親自實現(xiàn)了一個自己的搜索引擎——新聞搜索引擎。新聞搜索引擎是從指定的Web頁面中按照超連接進行解析、搜索，并把搜索到的每條新聞進行索引后加入數(shù)據(jù)庫。然后通過Web服務(wù)器接受客戶端請求后

2、從索引數(shù)據(jù)庫中搜索出所匹配的新聞。本人在介紹搜索引擎的章節(jié)中除了詳細(xì)的闡述技術(shù)核心外還結(jié)合了新聞搜索引擎的實現(xiàn)代碼來說明，圖文并茂、易于理解。AbstractTheresourcesintheinterareabundantbutitisadifficultjobtosearchsomeusefulinfmation.Soasearchengineisthebestmethodtosolvethisproblem.Thisarticle

3、fistintroducesthesystemstructureofsearchenginebasedontheinterindetailthengivesaminuteexplanationfmSpidersearchenginewebserver.IndertounderstthetechnologymedeeplyIhaveprogrammedanewssearchenginebymyself.Thenewssearchengin

4、eisexplainedsearchedaccdingtohyperlinkfromaappointedwebpagethenindexseverysearchedinfmationaddsittotheindexdatabase.ThenafterreceivingthecustomersrequestsfromthewebserveritsoonsearchstherightnewsfmtheindexengineInthechap

5、terofintroducingsearchengineitisnotonlyelabatethecetechnologybutalsocombinewiththemoderncodepicturesincludedeasytounderst.第一章引言面對浩瀚的網(wǎng)絡(luò)資源，搜索引擎為所有網(wǎng)上沖浪的用戶提供了一個入口，毫不夸張的說，所有的用戶都可以從搜索出發(fā)到達自己想去的網(wǎng)上任何一個地方。因此它也成為除了電子系統(tǒng)結(jié)構(gòu)圖2.2搜索引擎的構(gòu)成

6、2.2.1網(wǎng)絡(luò)機器人網(wǎng)絡(luò)機器人也稱為“網(wǎng)絡(luò)蜘蛛”(Spider)，是一個功能很強的WEB掃描程序。它可以在掃描WEB頁面的同時檢索其內(nèi)的超鏈接并加入掃描隊列等待以后掃描。因為WEB中廣泛使用超鏈接，所以一個Spider程序理論上可以訪問整個WEB頁面。為了保證網(wǎng)絡(luò)機器人遍歷信息的廣度和深度需要設(shè)定一些重要的鏈接并制定相關(guān)的掃描策略。2.2.2索引與搜索網(wǎng)絡(luò)機器人將遍歷得到的頁面存放在臨時數(shù)據(jù)庫中，如果通過SQL直接查詢信息速度將會難以忍

7、受。為了提高檢索效率，需要建立索引，按照倒排文件的格式存放。如果索引不及時跟新的話，用戶用搜索引擎也不能檢索到。用戶輸入搜索條件后搜索程序?qū)⑼ㄟ^索引數(shù)據(jù)庫進行檢索然后把符合查詢要求的數(shù)據(jù)庫按照一定的策略進行分級排列并且返回給用戶。2.2.3Web服務(wù)器客戶一般通過瀏覽器進行查詢，這就需要系統(tǒng)提供Web服務(wù)器并且與索引數(shù)據(jù)庫進行連接?？蛻粼跒g覽器中輸入查詢條件，Web服務(wù)器接收到客戶的查詢條件后在索引數(shù)據(jù)庫中進行查詢、排列然后返回給客戶端