搜索引擎的產生背景

1、搜索引擎技術的理解認識1一、一、搜索引擎技術的產生背景搜索引擎技術的產生背景搜索引擎是指根據(jù)一定的策略、運用特定的計算機程序從互聯(lián)網(wǎng)上搜集信息，在對信息進行組織和處理后，為用戶提供檢索服務，將用戶檢索相關的信息展示給用戶的系統(tǒng)。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費鏈接列表等。百度和谷歌等是搜索引擎的代表搜索引擎的發(fā)生背景在因特網(wǎng)發(fā)展初期，網(wǎng)站相對較少，新聞查找比較容易。然而隨著新聞

2、技術的飛速發(fā)展，特別是因特網(wǎng)應用的迅速普及，網(wǎng)站越來越多，并且每天全球互聯(lián)網(wǎng)網(wǎng)頁數(shù)目以千萬級的數(shù)量增加。要在浩瀚的網(wǎng)絡新聞中尋找所需要的材料無異于大海撈針。這時為滿足人人新聞檢索需求的搜索網(wǎng)站應運而生。搜索引擎從發(fā)生到發(fā)展大概閱歷履歷了如下四個步驟:(1)Archie的出現(xiàn)Archie已經(jīng)具備了現(xiàn)代搜索引擎的雛形。1990年，加拿大蒙特利爾大學艾倫伊米杰等三個學生在查詢文件的時候感觸非常不便，當時需要到散布在各個地方的FIP主機中去搜索

3、，于是他們三人開發(fā)了用文件稱號查找文件體例的想法。經(jīng)過精心設計，終于開發(fā)出了Archie程序。Archie是第一個自動搜索互聯(lián)網(wǎng)上匿名FTP網(wǎng)站文件的程序。Archie是一個可搜索的FTP文件稱號排列表，當用戶輸入精確的文件稱號時，Archie會告訴用戶哪一個FTP地址可以下載該文件。Archie還不是真正的搜索引擎，只是實現(xiàn)了自動索引互聯(lián)網(wǎng)上匿名FIP網(wǎng)站文件的技術，但無疑是在搜索引擎技術發(fā)展上邁出的第一步。(2)Spider的出現(xiàn)為

4、搜索引擎的發(fā)展奠定了基礎，由于特地用于檢索新聞的機器人(Robot)程序像蜘蛛(Spider)一樣在網(wǎng)絡間爬來爬去，因此，Robot程序又被稱之為Spider程序。世界上第一個Spider程序，是由1993年6月美國麻省理工學院學生馬杰杰瑞開發(fā)出來的，它可以用來捕捉互聯(lián)網(wǎng)上的網(wǎng)址，追蹤互聯(lián)網(wǎng)發(fā)展規(guī)模。雖然它也還不是真正意義上的搜索引擎，但Werer的原理與技術已經(jīng)被今天的搜索引擎廣泛采用。隨著互聯(lián)網(wǎng)的迅速發(fā)展，使得檢索所有新出現(xiàn)的網(wǎng)頁變

5、得越來越困難，因此，在wwwWerer基礎上，一些編程者將傳統(tǒng)的spider程序工作原理作了些改進。其原理是，既然所有網(wǎng)頁都可能有連向其他網(wǎng)站的鏈接，那么從跟蹤一個網(wǎng)站的鏈接開始，優(yōu)化。就有可能檢索整個互聯(lián)網(wǎng)。到1993年底，一些基于此原理的搜索引擎開始紛繁涌現(xiàn)，其中以Jumpstinsideion、TheWldWideWebWm(Goto的前身，也就是今天Overture)，和Reposity—BasedSoftwareEnginee

6、ring(RBSE)最負盈盛名。然而Jumpstinsideion和wwwwo只是以搜索工具在數(shù)據(jù)庫中找到匹配新聞的先后次序排列搜索結果，因此毫無新聞關聯(lián)度可言。而RBSE是是第一個索引HTML文件正文的搜索引擎，是第一個在搜索結果排列中引入關鍵字串匹配程度概念的引擎。(3)Lycos的發(fā)明Lycos(CarnegieMellonUniversityCenterfMac^ineTranslinsideionAnnouncesLycos)

7、是搜索引擎史上又一個重要的進步。CarnegieMellonUniversity的MichaelMauldin將JohnLeavitt的spider程序接入到其索引程序中，創(chuàng)建了Lycos。1994年7月20日，Lycos正式發(fā)布。除了相關性排序外，Lycos還提供了前綴匹配和字符相近限制，Lycos第一個在搜索結果中使用了網(wǎng)頁自動摘要，而最大的優(yōu)勢還是它遠勝過其它搜索引擎的數(shù)據(jù)量。同時期的Infoseek(SteveKirschAnn

8、ouncesFreeDemosOftheInfoseekSearchEngine)是另一個重要的搜索引擎。起初，Infoseek只是一個不起眼的搜索引擎，它搜索引擎技術的理解認識32、優(yōu)秀搜索引擎的基本特點目前各種各樣的中西文搜索有10余種或更多比較著名的搜索引擎有Yahoo、Excite、InfoSeek。一個優(yōu)秀的搜索引擎應具有以Lycos、ltaVista等。以下幾個特點:(1)支持全文檢索(FullTextSearch)。全文搜

9、索引擎的優(yōu)點是查詢全面而充分用戶能夠對各網(wǎng)站的每篇文章中的每個詞進行搜索。當全文搜索引擎遇到一個網(wǎng)站時會將該網(wǎng)站上所有的文章(網(wǎng)頁)全部獲取下來并收入到引擎的數(shù)據(jù)庫中。只要用戶輸入查詢的“關鍵字”在引擎庫的某篇文章中出現(xiàn)過則這篇文章就會作為匹配結果返回給用戶。(2)支持目錄式分類結構(Directy)。分類搜索引擎的優(yōu)點是將信息系統(tǒng)地分門歸類當遇到一個網(wǎng)站時它并不像全文搜索引擎那樣將網(wǎng)站上的所有文章和信息都收錄進去而是首先將該網(wǎng)站劃分到

10、某個分類下再記錄一些摘要信息對該網(wǎng)站進行概述性的簡要介紹。最具代表性的目錄式分類搜索引擎是Yahoo網(wǎng)站。(3)能夠區(qū)分搜索結果的相關性(Pertinency)。搜索引擎應該能夠找到與搜索要求相對應的站點并按其相關程度將搜索結果排序。(4)檢索方法多樣查找手段完備。(5)其他性能。一個優(yōu)秀的搜索引擎產品還必須查詢速度快具有較好的可維護、可更新性能。現(xiàn)有的搜索引擎在信息維護、信息重復、網(wǎng)絡及站點負載方面還存在很多的不足索引數(shù)據(jù)庫往往很大檢

11、索的查準率不高?，F(xiàn)有搜索引擎的缺陷:(1)運算符合布爾運算組合運用數(shù)量有限(2)僅使用關鍵詞提問但關鍵詞檢索不能完全滿足用戶的要求而且它是一種盲目的匹配(3)不能檢索歷史信息(4)簡單的結果表示方法使用戶顯得茫無頭緒(5)單個引擎的限制。3、搜索引擎的語法規(guī)則如果想要得到最佳的搜索效果就要使用搜索的基本語法來組織要搜索的條件。(1)使用邏輯操作符。搜索引擎中常用的操作邏輯符是:、、NOT、表示邏輯“與”可用“&”表示表示邏輯“或”可用“

12、”來表示NOT表示邏輯“非”可用“!”來表示。(2)使用“、”連接號和通配符。4、搜索引擎研究的主要問題由于現(xiàn)有的搜索引擎有上述很多的缺陷因此搜索引擎仍是網(wǎng)絡和情報檢索的研究熱點。當前主要的研究熱點有:(1)能充分表達用戶查詢要求的查詢語言。一套能充分表達用戶要求但又不增加網(wǎng)絡負載的查詢語言是搜索給用戶的第一個良好印象。(2)索引數(shù)據(jù)庫的組織和管理。如何對大容量、非結構化的信息進行增、刪、改操作也是一個值得研究的問題。(3)信息的自動加