搜索引擎18553

1、搜索引擎(searchengine)是指根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序搜集互聯(lián)網(wǎng)上的信息，在對(duì)信息進(jìn)行組織和處理后，并將處理后的信息顯示給用戶，是為用戶提供檢索服務(wù)的系統(tǒng)。搜索引擎分類1、全文索引、全文索引全文搜索引擎是名副其實(shí)的搜索引擎，國外代表有Google，國內(nèi)則有著名的百度搜索。它們從互聯(lián)網(wǎng)提取各個(gè)網(wǎng)站的信息（以網(wǎng)頁文字為主），建立起數(shù)據(jù)庫，并能檢索與用戶查詢條件相匹配的記錄，按一定的排列順序返回結(jié)果。根據(jù)搜索結(jié)果來源的不

2、同，全文搜索引擎可分為兩類，一類擁有自己的檢索程序（Indexer），俗稱“蜘蛛”（Spider）程序或“機(jī)器人”（Robot）程序，能自建網(wǎng)頁數(shù)據(jù)庫，搜索結(jié)果直接從自身的數(shù)據(jù)庫中調(diào)用，上面提到的Google和百度就屬于此類；另一類則是租用其他搜索引擎的數(shù)據(jù)庫，并按自定的格式排列搜索結(jié)果，如Lycos搜索引擎。2、目錄索引、目錄索引目錄索引雖然有搜索功能，但嚴(yán)格意義上不能稱為真正的搜索引擎，只是按目錄分類的網(wǎng)站鏈接列表而已。用戶完全可以

3、按照分類目錄找到所需要的信息，不依靠關(guān)鍵詞（Keywds）進(jìn)行查詢。目錄索引中最具代表性的莫過于大名鼎鼎的Yahoo、新浪分類目錄搜索。3、元搜索引擎、元搜索引擎元搜索引擎（METASearchEngine）接受用戶查詢請(qǐng)求后，同時(shí)在多個(gè)搜索引擎上搜索，并將結(jié)果返回給用戶。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索結(jié)果排列方面，有的直接按來源排列搜索結(jié)果，如

4、Dogpile；有的則按自定的規(guī)則將結(jié)果重新排列組合，如Vivisimo。其他非主流搜索引擎形式：1、集合式搜索引擎：該搜索引擎類似元搜索引擎，區(qū)別在于它并非同時(shí)調(diào)用多個(gè)搜索引擎進(jìn)行搜索，而是由用戶從提供的若干搜索引擎中選擇，如HotBot在2002年底推出的搜索引擎。2、門戶搜索引擎：AOLSearch、MSNSearch等雖然提供搜索服務(wù)，但自身既沒有分類目錄也沒有網(wǎng)頁數(shù)據(jù)庫，其搜索結(jié)果完全來自其他搜索引擎。3、免費(fèi)鏈接列表（Fre

5、eFAllLinks簡(jiǎn)稱FFA）：一般只簡(jiǎn)單地滾動(dòng)鏈接條目，少部分有簡(jiǎn)單的分類目錄，不過規(guī)模要比Yahoo！等目錄索引小很多。Google和Baidu收錄網(wǎng)站頁面的標(biāo)準(zhǔn)是不同的。我用一句話來形容，就是Google更樂于收錄大站的頁面，百度則樂于收錄新站的頁面。為此我做一個(gè)實(shí)驗(yàn)：先申請(qǐng)了一個(gè)新域名，在上面放一個(gè)網(wǎng)站，然后不在其他任何網(wǎng)站做鏈接，而直接往百度和Google搜索引擎的提交頁面進(jìn)行提交。一個(gè)月過去了，百度收錄的網(wǎng)頁是24900篇

6、，Google收錄的網(wǎng)頁是0，這證實(shí)了我以前的猜測(cè)。這說明了什么呢？說明百度比Google好嗎？絕對(duì)不是的。因?yàn)锽aidu和Google收錄頁面的標(biāo)準(zhǔn)是完全不同的。Google是按照網(wǎng)頁級(jí)別（PageRank）來收錄的，只要網(wǎng)站有一定的網(wǎng)頁級(jí)別，Google會(huì)快速收錄的，而沒有網(wǎng)頁級(jí)別的網(wǎng)站，Google則堅(jiān)決不去收錄。Baidu則很夸張，采用的是來者不拒，多多益善的原則，無休止的進(jìn)行收錄。Baidu的這種不按網(wǎng)頁級(jí)別的收錄方式其實(shí)有很

7、大的惡果，最主要的惡果是造成大量的垃圾網(wǎng)站流行，因?yàn)橹灰鲆粋€(gè)垃圾站，Baidu就會(huì)立刻收錄（25000頁以內(nèi)），這等于變相的鼓勵(lì)大家去做垃圾站，去盲目采集。當(dāng)垃圾站橫行的時(shí)候，Baidu再通過人工的方式封站，甚至一些百度業(yè)務(wù)員對(duì)于大流量的網(wǎng)站還會(huì)要求其站長(zhǎng)辦理百度競(jìng)價(jià)排名。這兩種收錄方式哪種更好呢？我個(gè)人認(rèn)為Google的這種收錄方式是比較科學(xué)的。因?yàn)榛ヂ?lián)網(wǎng)上的頁面是個(gè)天文數(shù)字，收錄應(yīng)該是有選擇的收錄，好的網(wǎng)站則多收錄，新站則應(yīng)該少收

8、錄，等其慢慢知名了以后再多收錄，這樣也提高了效率，讓用戶搜索到更好的頁面而不是更多的頁面。如果對(duì)于新站不做分析就快速收錄，那么會(huì)使得從技術(shù)上對(duì)抗惡意網(wǎng)站作弊（SEO）變得非常困難，Google通過給予新站給出一定的“考察期”來分析這個(gè)新站是否是作弊的垃圾站，而百度就只能依靠人工方式手動(dòng)地刪除垃圾站。對(duì)于收錄網(wǎng)站的具體操作上，Google的爬蟲顯得較為“體貼”站長(zhǎng)－Google爬蟲占用服務(wù)器的資源非常少，通常是先用head來查看網(wǎng)頁是否更

9、新，如果更新了再抓取整個(gè)頁面，這種方法耗費(fèi)流量較少。而百度則不管三七二十一上來就抓整個(gè)站，有時(shí)甚至不遵守robots規(guī)則，而且其爬蟲數(shù)量非常龐大，對(duì)于頁面較多的網(wǎng)站通常會(huì)耗費(fèi)驚人的流量，并且常常造成惡劣的后果。當(dāng)然，百度這種“貪婪”爬蟲抓取方法，雖然會(huì)讓用戶能夠在百度搜索出一些Google里搜索不到的頁面，但這實(shí)在是損人利己。其帶給網(wǎng)站站長(zhǎng)不少負(fù)面效果：服務(wù)器和帶寬資源過度消耗，垃圾站被變相鼓勵(lì)了，原創(chuàng)的有特色的網(wǎng)站則被邊緣化，MP3音