搜索引擎原理06190

1、搜索引擎分類搜索引擎按其工作方式主要可分為三種，搜索引擎按其工作方式主要可分為三種，分別是全文搜索引擎（全文搜索引擎（FullTextSearchEngine）、目錄索引類搜索引擎錄索引類搜索引擎（SearchIndexDirecty）和元搜索引擎元搜索引擎（MetaSearchEngine）?！鋈乃阉饕嫒乃阉饕?百度百度Google全文搜索引擎是名副其實的搜索引擎，國外具代表性的有國外具代表性的有Google、FastAllT

2、heWeb、AltaVista、Inktomi、Teoma、WiseNut等，國內(nèi)著名的有等，國內(nèi)著名的有百度百度（Baidu）。它們都是通過從互聯(lián)網(wǎng)上提取的各個網(wǎng)站的信息（以網(wǎng)頁文字為主）而建立的數(shù)據(jù)庫中，檢索與用戶查詢條件匹配的相關(guān)記錄，然后按一定的排列順序?qū)⒔Y(jié)果返回給用戶，因此他們是真正的真正的搜索引擎搜索引擎。從搜索結(jié)果來源的角度，全文搜索引擎又可細(xì)分為兩種全文搜索引擎又可細(xì)分為兩種，一種是一種是擁有自己的檢索程序（Indexe

3、r），俗稱“蜘蛛蜘蛛”（Spider）程序或）程序或“機器人機器人”（Robot）程序）程序，并自建網(wǎng)頁數(shù)據(jù)庫，搜索結(jié)果直接從自身的數(shù)據(jù)庫中調(diào)用，如上面提到的7家引擎；另一種則是另一種則是租用其他引擎的數(shù)據(jù)庫，并按自定的格式排列搜索結(jié)果，如Lycos引擎?！瞿夸浰饕夸浰饕?Yahoo雅虎雅虎搜狐、新浪、網(wǎng)易搜狐、新浪、網(wǎng)易目錄索引雖然有搜索功能，但在嚴(yán)格意義上算不上是真正的搜索引擎，僅僅是按目錄分類的網(wǎng)站目錄索引雖然有搜索功能，但在嚴(yán)

4、格意義上算不上是真正的搜索引擎，僅僅是按目錄分類的網(wǎng)站鏈接列表而已鏈接列表而已。用戶完全可以不用進行關(guān)鍵詞（Keywds）查詢，僅靠分類目錄也可找到需要的信息。目錄索引中最具代表性的目錄索引中最具代表性的莫過于大名鼎鼎的Yahoo雅虎雅虎。其他著名的還有OpenDirectyProject（DMOZ）、LookSmart、About等。國內(nèi)的搜狐、新浪、網(wǎng)易搜索國內(nèi)的搜狐、新浪、網(wǎng)易搜索也都屬于這一類?！鲈阉饕嬖阉饕?METAS

5、earchEngine)元搜索引擎在接受用戶查詢請求時，同時在其他多個引擎上進行搜索，并將結(jié)果返回給用戶元搜索引擎在接受用戶查詢請求時，同時在其他多個引擎上進行搜索，并將結(jié)果返回給用戶。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等（元搜索引擎列表），中文元搜索引擎中具代表性的有搜星搜星搜索引擎。在搜索結(jié)果排列方面，有的直接按來源引擎排列搜索結(jié)果，如Dogpile，有的則按自定的規(guī)則將結(jié)果重新排列組合，如Viv

6、isimo。除上述三大類引擎外，還有以下幾種非主流形式：除上述三大類引擎外，還有以下幾種非主流形式：1、集合式搜索引擎集合式搜索引擎：如HotBot在2002年底推出的引擎。該引擎類似META搜索引擎，但區(qū)別在于不是同時調(diào)用多個引擎進行搜索，而是由用戶從提供的由用戶從提供的4個引擎當(dāng)中選擇個引擎當(dāng)中選擇，因此叫它“集合式”搜索引擎更確切些。2、門戶搜索引擎門戶搜索引擎：如AOLSearch、MSNSearch等雖然提供搜索服務(wù)，但自身即

7、沒有分類目錄也沒有網(wǎng)頁數(shù)據(jù)庫，其搜索結(jié)果完全來自其他引擎。3、免費鏈接列表免費鏈接列表（FreeFAllLinks，簡稱FFA）：這類網(wǎng)站一般只簡單地滾動排列鏈接條目，這類網(wǎng)站一般只簡單地滾動排列鏈接條目，少部分有簡單的分類目錄少部分有簡單的分類目錄，不過規(guī)模比起Yahoo等目錄索引來要小得多。由于上述網(wǎng)站都為用戶提供搜索查詢服務(wù)，為方便起見，我們通常將其統(tǒng)稱為搜索引擎。搜索引擎基本工作原理搜索引擎基本工作原理了解搜索引擎的工作原理對我

8、們?nèi)粘Ｋ阉鲬?yīng)用和網(wǎng)站提交推廣都會有很大幫助。........................................................................................主機中，查詢起來非常不便，因此AlanEmtage想到了開發(fā)一個可以以文件名查找文件的系統(tǒng)，于是便有了Archie。Archie工作原理與現(xiàn)在的搜索引擎已經(jīng)很接近，它依靠腳本程序自動搜索網(wǎng)上的文件，然后對有關(guān)信息進行索引

9、，供使用者以一定的表達式查詢。由于Archie深受用戶歡迎，受其啟發(fā)，美國內(nèi)華達SystemComputingServices大學(xué)于1993年開發(fā)了另一個與之非常相似的搜索工具，不過此時的搜索工具除了索引文件外，已能檢索網(wǎng)頁。當(dāng)時，“機器人”一詞在編程者中十分流行。電腦“機器人”（ComputerRobot）是指某個能以人類無法達到的速度不間斷地執(zhí)行某項任務(wù)的軟件程序。由于專門用于檢索信息的“機器人”程序象蜘蛛一樣在網(wǎng)絡(luò)間爬來爬去，因此

10、，搜索引擎的“機器人”程序就被稱為“蜘蛛”程序。世界上第一個用于監(jiān)測互聯(lián)網(wǎng)發(fā)展規(guī)模的“機器人”程序是MatthewGray開發(fā)的WldwideWebWerer。剛開始它只用來統(tǒng)計互聯(lián)網(wǎng)上的服務(wù)器數(shù)量，后來則發(fā)展為能夠檢索網(wǎng)站域名。與Werer相對應(yīng)，MartinKoster于1993年10月創(chuàng)建了ALIWEB，它是Archie的HTTP版本。ALIWEB不使用“機器人”程序，而是靠網(wǎng)站主動提交信息來建立自己的鏈接索引，類似于現(xiàn)在我們熟知

11、的Yahoo。隨著互聯(lián)網(wǎng)的迅速發(fā)展，使得檢索所有新出現(xiàn)的網(wǎng)頁變得越來越困難，因此，在MatthewGray的Werer基礎(chǔ)上，一些編程者將傳統(tǒng)的“蜘蛛”程序工作原理作了些改進。其設(shè)想是，既然所有網(wǎng)頁都可能有連向其他網(wǎng)站的鏈接，那么從跟蹤一個網(wǎng)站的鏈接開始，就有可能檢索整個互聯(lián)網(wǎng)。到1993年底，一些基于此原理的搜索引擎開始紛紛涌現(xiàn)，其中以JumpStation、TheWldWideWebWm（Goto的前身，也就是今天Overture）

12、，和ReposityBasedSoftwareEngineering(RBSE)spider最負(fù)盛名。然而JumpStation和WWWWm只是以搜索工具在數(shù)據(jù)庫中找到匹配信息的先后次序排列搜索結(jié)果，因此毫無信息關(guān)聯(lián)度可言。而RBSE是第一個在搜索結(jié)果排列中引入關(guān)鍵字串匹配程度概念的引擎。最早現(xiàn)代意義上的搜索引擎出現(xiàn)于1994年7月。當(dāng)時MichaelMauldin將JohnLeavitt的蜘蛛程序接入到其索引程序中，創(chuàng)建了大家現(xiàn)在熟知

13、的Lycos。同年4月，斯坦福（Stanfd）大學(xué)的兩名博士生，DavidFilo和美籍華人楊致遠(yuǎn)（GerryYang）共同創(chuàng)辦了超級目錄索引Yahoo，并成功地使搜索引擎的概念深入人心。從此搜索引擎進入了高速發(fā)展時期。目前，互聯(lián)網(wǎng)上有名有姓的搜索引擎已達數(shù)百家，其檢索的信息量也與從前不可同日而語。比如最近風(fēng)頭正勁的Google，其數(shù)據(jù)庫中存放的網(wǎng)頁已達30億之巨！隨著互聯(lián)網(wǎng)規(guī)模的急劇膨脹，一家搜索引擎光靠自己單打獨斗已無法適應(yīng)目前的市

14、場狀況，因此現(xiàn)在搜索隨著互聯(lián)網(wǎng)規(guī)模的急劇膨脹，一家搜索引擎光靠自己單打獨斗已無法適應(yīng)目前的市場狀況，因此現(xiàn)在搜索引擎之間開始出現(xiàn)了分工協(xié)作，引擎之間開始出現(xiàn)了分工協(xié)作，并有了專業(yè)的搜索引擎技術(shù)和搜索數(shù)據(jù)庫服務(wù)提供商并有了專業(yè)的搜索引擎技術(shù)和搜索數(shù)據(jù)庫服務(wù)提供商。象國外的Inktomi（已被Yahoo收購），它本身并不是直接面向用戶的搜索引擎，但向包括Overture（原GoTo，已被Yahoo收購）、LookSmart、MSN、HotB

15、ot等在內(nèi)的其他搜索引擎提供全文網(wǎng)頁搜索服務(wù)。國內(nèi)的百度也屬于這一類（注1），搜狐和新浪用的就是它的技術(shù)（注2）。因此從這個意義上說，它們是搜索引擎的搜索引擎。（注1）：百度已于2001年9月開始提供公共搜索服務(wù)。（注1）：搜狐二級網(wǎng)頁搜索現(xiàn)已改為中搜的引擎，而新浪則已轉(zhuǎn)用Google的搜索結(jié)果。一、搜索引擎的分類獲得網(wǎng)站網(wǎng)頁資料，能夠建立數(shù)據(jù)庫并提供查詢的系統(tǒng)，我們都可以把它叫做搜索引擎。按照工作原理的不同，可以把它們分為兩個基本類別

16、：全文搜索引擎（FullTextSearchEngine）和分類目錄Directy）。全文搜索引擎的全文搜索引擎的數(shù)據(jù)庫是依靠一個叫“網(wǎng)絡(luò)機器人（Spider）”或叫“網(wǎng)絡(luò)蜘蛛（crawlers）”的軟件，通過網(wǎng)絡(luò)上的各種鏈接自動獲取大量網(wǎng)頁信息內(nèi)容，并按以定的規(guī)則分析整理形成的。通過網(wǎng)絡(luò)上的各種鏈接自動獲取大量網(wǎng)頁信息內(nèi)容，并按以定的規(guī)則分析整理形成的。Google、百度都是比較典型的全文搜索引擎系統(tǒng)。、百度都是比較典型的全文搜索引擎