搜索引擎及搜索引擎優(yōu)化(seo)實驗

1、1實驗三搜索引擎及SEO實驗一、實驗目的一、實驗目的研究并學習幾種常見的搜索引擎算法，包括網絡蜘蛛爬行策略、中文分詞算法、網頁正文提取算法、網頁去重算法、PageRank和MapReduce算法，了解它們的基本實現(xiàn)原理；運用所學SEO技術對網頁進行優(yōu)化。二、實驗內容二、實驗內容1.研究常用的網絡蜘蛛爬行策略，如深度優(yōu)先策略、廣度優(yōu)先策略、網頁選擇策略、重訪策略和并行策略等，了解其實現(xiàn)原理；2.研究至少兩種中文分詞算法，了解其實現(xiàn)原理；3

2、.研究至少兩種網頁正文提取算法，了解其實現(xiàn)原理；4.研究至少兩種網頁去重算法，了解其實現(xiàn)原理；5.研究Google的PageRank和MapReduce算法，了解它們的實現(xiàn)原理；6.使用所學的SEO技術，對實驗二所設計的網站靜態(tài)首頁實施SEO，在實施過程中需采用如下技術：(1)網頁標題(title)的優(yōu)化；(2)選取合適的關鍵詞并對關鍵詞進行優(yōu)化；(3)元標簽的優(yōu)化；(4)網站結構和URL的優(yōu)化；(5)創(chuàng)建robots.txt文件，禁止

3、蜘蛛抓取網站后臺頁面；(6)網頁內部鏈接的優(yōu)化；(7)Heading標簽的優(yōu)化；(8)圖片優(yōu)化；(9)網頁減肥技術。7.使用C、C#和Java等任意一種編程語言，設計并實現(xiàn)一個簡單的網絡蜘蛛爬行程序，要求在輸入關鍵詞、設置爬行深度和初始網頁URL之后能夠實現(xiàn)網頁搜索，輸出包含關鍵詞的網頁的URL和網頁標題。【注：實驗注：實驗7為補充實驗，不要求每個同學都完成，為補充實驗，不要求每個同學都完成，感興趣者可自行實現(xiàn)該程序，不計入實驗報告評分

4、。感興趣者可自行實現(xiàn)該程序，不計入實驗報告評分。】三、實驗要求三、實驗要求1.研究幾種常用的網絡蜘蛛爬行策略，填寫相應的表格，表格必須填寫完整；2.研究兩種中文分詞算法，填寫相應的表格，表格必須填寫完整；3.研究兩種網頁正文提取算法，填寫相應的表格，表格必須填寫完整；4.研究兩種網頁去重算法，填寫相應的表格，表格必須填寫完整；3HTML文件中的其他超鏈。當不再有其他超鏈可選擇時，說明搜索已經結束。廣度優(yōu)先策略寬度優(yōu)先搜索算法（又稱廣度優(yōu)

5、先搜索）是最簡便的圖的搜索算法之一，這一算法也是很多重要的圖的算法的原型。Dijkstra單源最短路徑算法和Prim最小生成樹算法都采用了和寬度優(yōu)先搜索類似的思想。其別名又叫BFS，屬于一種盲目搜尋法，目的是系統(tǒng)地展開并檢查圖中的所有節(jié)點，以找尋結果。換句話說，它并不考慮結果的可能位址，徹底地搜索整張圖，直到找到結果為止。百度百科廣度優(yōu)先搜索：:baike.view1242613.htm網頁選擇策略對搜索引擎而言，要搜索互聯(lián)網上所有的網

6、頁幾乎不可能，即使全球知名的搜索引擎google也只能搜索整個Inter網頁的30％左右。其中的原因主要有兩方面，一是抓取技術的瓶頸。網絡爬蟲無法遍歷所有的網頁；二是存儲技術和處理技術的問題。因此，網絡爬蟲在抓取網頁時。盡量先采集重要的網頁，即采用網頁優(yōu)先抓取策略。網頁選擇策略是給予重要程度、等級較高的Web頁以較高的抓取優(yōu)先級，即Web頁越重要，則越應優(yōu)先抓取。其實質上是一種使網絡爬蟲在一定條件下較快地鎖定互聯(lián)網中被用戶普遍關注的重要