搜索引擎工作原理

1、搜索引擎工作原理.txt15成熟的麥子低垂著頭，那是在教我們謙遜；一群螞蟻能抬走大骨頭，那是在教我們團結；溫柔的水滴穿巖石，那是在教我們堅韌；蜜蜂在花叢中忙碌，那是在教我們勤勞。搜索引擎工作原理一、搜索引擎的分類獲得網站網頁資料，能夠建立數據庫并提供查詢的系統(tǒng)，我們都可以把它叫做搜索引擎。按照工作原理的不同，可以把它們分為兩個基本類別：全文搜索引擎（FullTextSearchEngine）和分類目錄Directy）。全文搜索引擎的數據

2、庫是依靠一個叫“網絡機器人（Spider）“或叫“網絡蜘蛛（crawlers）“的軟件，通過網絡上的各種鏈接自動獲取大量網頁信息內容，并按以定的規(guī)則分析整理形成的。Google、百度都是比較典型的全文搜索引擎系統(tǒng)。分類目錄則是通過人工的方式收集整理網站資料形成數據庫的，比如雅虎中國以及國內的搜狐、新浪、網易分類目錄。另外，在網上的一些導航站點，也可以歸屬為原始的分類目錄，比如“網址之家“。全文搜索引擎和分類目錄在使用上各有長短。全文搜索

3、引擎因為依靠軟件進行，所以數據庫的容量非常龐大，但是，它的查詢結果往往不夠準確；分類目錄依靠人工收集和整理網站，能夠提供更為準確的查詢結果，但收集的內容卻非常有限。為了取長補短，現在的很多搜索引擎，都同時提供這兩類查詢，一般對全文搜索引擎的查詢稱為搜索“所有網站“或“全部網站“，比如Google的全文搜索；把對分類目錄的查詢稱為搜索“分類目錄“或搜索“分類網站“，比如新浪搜索和雅虎中國搜索。在網上，對這兩類搜索引擎進行整合，還產生了其它

4、的搜索服務，在這里，我們權且也把它們稱作搜索引擎，主要有這兩類：⒈元搜索引擎(METASearchEngine)。這類搜索引擎一般都沒有自己網絡機器人及數據庫，它們的搜索結果是通過調用、控制和優(yōu)化其它多個獨立搜索引擎的搜索結果并以統(tǒng)一的格式在同一界面集中顯示。元搜索引擎雖沒有“網絡機器人“或“網絡蜘蛛“，也無獨立的索引數據庫，但在檢索請求提交、檢索接口代理和檢索結果顯示等方面，均有自己研發(fā)的特色元搜索技術。比如“metaFisher元搜

5、索引擎“，它就調用和整合了Google、Yahoo、AlltheWeb、百度和OpenFind等多家搜索引擎的數據。⒉集成搜索引擎（All－in－OneSearchPage）。集成搜索引擎是通過網絡技術，在一個網頁上鏈接很多個獨立搜索引擎，查詢時，點選或指定搜索引擎，一次輸入，多個搜索引擎同時查詢，搜索結果由各搜索引擎分別以不同頁面顯示，比如“網際瑞士軍刀“。二、搜索引擎的工作原理全文搜索引擎的“網絡機器人“或“網絡蜘蛛“是一種網絡上的

6、軟件，它遍歷Web空間，能夠掃描一定IP地址范圍內的網站，并沿著網絡上的鏈接從一個網頁到另一個網頁，從一個網站到另一個網站采集網頁資料。它為保證采集的資料最新，還會回訪已抓取過的網頁。網絡機器人或網絡蜘蛛采集的網頁，還要有其它程序進行分析，根據一定的相關度算法進行大量的建立索引數據庫由分析索引系統(tǒng)程序對收集回來的網頁進行分析，提取相關網頁信息（包括網頁所在URL、編碼類型、頁面內容包含的關鍵詞、關鍵詞位置、生成時間、大小、與其它網頁的鏈

7、接關系等），根據一定的相關度算法進行大量復雜計算，得到每一個網頁針對頁面內容中及超鏈中每一個關鍵詞的相關度（或重要性），然后用這些相關信息建立網頁索引數據庫。在索引數據庫中搜索排序當用戶輸入關鍵詞搜索后，由搜索系統(tǒng)程序從網頁索引數據庫中找到符合該關鍵詞的所有相關網頁。因為所有相關網頁針對該關鍵詞的相關度早已算好，所以只需按照現成的相關度數值排序，相關度越高，排名越靠前。最后，由頁面生成系統(tǒng)將搜索結果的鏈接地址和頁面內容摘要等內容組織起來

8、返回給用戶。搜索引擎的Spider一般要定期重新訪問所有網頁（各搜索引擎的周期不同，可能是幾天、幾周或幾月，也可能對不同重要性的網頁有不同的更新頻率），更新網頁索引數據庫，以反映出網頁內容的更新情況，增加新的網頁信息，去除死鏈接，并根據網頁內容和鏈接關系的變化重新排序。這樣，網頁的具體內容和變化情況就會反映到用戶查詢的結果中?；ヂ摼W雖然只有一個，但各搜索引擎的能力和偏好不同，所以抓取的網頁各不相同，排序算法也各不相同。大型搜索引擎的數據

9、庫儲存了互聯網上幾億至幾十億的網頁索引，數據量達到幾千G甚至幾萬G。但即使最大的搜索引擎建立超過二十億網頁的索引數據庫，也只能占到互聯網上普通網頁的不到30%，不同搜索引擎之間的網頁數據重疊率一般在70%以下。我們使用不同搜索引擎的重要原因，就是因為它們能分別搜索到不同的內容。而互聯網上有更大量的內容，是搜索引擎無法抓取索引的，也是我們無法用搜索引擎搜索到的。你心里應該有這個概念：搜索引擎只能搜到它網頁索引數據庫里儲存的內容。你也應該有