網(wǎng)絡(luò)爬蟲技術(shù)分析

1、網(wǎng)絡(luò)爬蟲技術(shù)分析與研究網(wǎng)絡(luò)爬蟲技術(shù)分析與研究搜索引擎搜索引擎1.概念：從網(wǎng)絡(luò)上獲得網(wǎng)站網(wǎng)頁資料，能夠建立數(shù)據(jù)庫并提供查詢的系統(tǒng)。2.分類（按工作原理）：全文搜索引擎、分類目錄。1全文搜索引擎數(shù)據(jù)庫是依靠網(wǎng)絡(luò)爬蟲通過網(wǎng)絡(luò)上的各種鏈接自動(dòng)獲取大量網(wǎng)頁信息內(nèi)容，并按一定的規(guī)則分析整理形成的。（百度、Google）2分類目錄：按目錄分類的網(wǎng)站鏈接列表而已，通過人工的方式收集整理網(wǎng)站資料形成的數(shù)據(jù)庫。(國內(nèi)的搜狐)網(wǎng)絡(luò)機(jī)器人網(wǎng)絡(luò)機(jī)器人1.概念：它

2、們是Web上獨(dú)自運(yùn)行的軟件程序，它們不斷地篩選數(shù)據(jù)，做出自己的決定，能夠使用Web獲取文本或者進(jìn)行搜索查詢，按部就班地完成各自的任務(wù)。2.分類：購物機(jī)器人、聊天機(jī)器人、搜索機(jī)器人（網(wǎng)絡(luò)爬蟲）等。網(wǎng)絡(luò)爬蟲網(wǎng)絡(luò)爬蟲1.概念：網(wǎng)絡(luò)爬蟲也叫網(wǎng)絡(luò)蜘蛛，它是一個(gè)按照一定的規(guī)則自動(dòng)提取網(wǎng)頁程序，其會(huì)自動(dòng)的通過網(wǎng)絡(luò)抓取互聯(lián)網(wǎng)上的網(wǎng)頁，這種技術(shù)一般可能用來檢查你的站點(diǎn)上所有的鏈接是否是都是有效的。當(dāng)然，更為高級(jí)的技術(shù)是把網(wǎng)頁中的相關(guān)數(shù)據(jù)保存下來，可以成為

3、搜索引擎。搜索引擎使用網(wǎng)絡(luò)爬蟲尋找網(wǎng)絡(luò)內(nèi)容，網(wǎng)絡(luò)上的HTML文檔使用超鏈接連接了起來，就像織成了一張網(wǎng)，網(wǎng)絡(luò)爬蟲也叫網(wǎng)絡(luò)蜘蛛，順著這張網(wǎng)爬行，每到一個(gè)網(wǎng)頁就用抓取程序?qū)⑦@個(gè)網(wǎng)頁抓下來，將內(nèi)容抽取出來，同時(shí)抽取超鏈接，作為進(jìn)一步爬行的線索。網(wǎng)絡(luò)爬蟲總是要從某個(gè)起點(diǎn)開始爬，這個(gè)起點(diǎn)叫做種子，你可以告訴它，也可以到一些網(wǎng)址列表網(wǎng)站上獲取。2.區(qū)別：網(wǎng)絡(luò)爬蟲分類通用爬蟲聚集爬蟲工作原理從一個(gè)或多個(gè)初始網(wǎng)頁的URL開始，獲取初始網(wǎng)頁的URL，抓取

4、網(wǎng)頁的同時(shí)，從當(dāng)前網(wǎng)頁提取相關(guān)的URL放入隊(duì)列中，直到滿足程序的停止條件。根據(jù)一定的網(wǎng)頁分析算法過濾與主題無關(guān)的鏈接，保留有用的鏈接(爬行的范圍是受控的)放到待抓取的隊(duì)列中，通過一定的搜索策略從隊(duì)列中選擇下一步要抓取的URL，重復(fù)以上步驟，直到滿足程序的停止條件。不同點(diǎn)1.增加了一些網(wǎng)頁分析算法和網(wǎng)頁搜索策略2.對(duì)被爬蟲抓取的網(wǎng)頁將會(huì)被系統(tǒng)存貯，進(jìn)行一定的分析、過濾，并建立索引，以便之后的查詢和檢索，這一過程所得到的分析結(jié)果還可能1網(wǎng)頁

5、分析算法1.1基于網(wǎng)絡(luò)拓?fù)涞姆治鏊惴íセ诰W(wǎng)頁之間的鏈接，通過已知的網(wǎng)頁或數(shù)據(jù)，來對(duì)與其有直接或間接鏈接關(guān)系的對(duì)象（可以是網(wǎng)頁或網(wǎng)站等）作出評(píng)價(jià)的算法。又分為網(wǎng)頁粒度、網(wǎng)站粒度和網(wǎng)頁塊粒度這三種。1.1.1網(wǎng)頁(Webpage)粒度的分析算法PageRank和HITS算法是最常見的鏈接分析算法，兩者都是通過對(duì)網(wǎng)頁間鏈接度的遞歸和規(guī)范化計(jì)算，得到每個(gè)網(wǎng)頁的重要度評(píng)價(jià)。PageRank算法雖然考慮了用戶訪問行為的隨機(jī)性和Sink網(wǎng)頁的存在，

6、但忽略了絕大多數(shù)用戶訪問時(shí)帶有目的性，即網(wǎng)頁和鏈接與查詢主題的相關(guān)性。針對(duì)這個(gè)問題，HITS算法提出了兩個(gè)關(guān)鍵的概念：權(quán)威型網(wǎng)頁（authity）和中心型網(wǎng)頁（hub）?；阪溄拥淖ト〉膯栴}是相關(guān)頁面主題團(tuán)之間的隧道現(xiàn)象，即很多在抓取路徑上偏離主題的網(wǎng)頁也指向目標(biāo)網(wǎng)頁，局部評(píng)價(jià)策略中斷了在當(dāng)前路徑上的抓取行為。文獻(xiàn)[21]提出了一種基于反向鏈接（BackLink）的分層式上下文模型（ContextModel），用于描述指向目標(biāo)網(wǎng)頁一定物

7、理跳數(shù)半徑內(nèi)的網(wǎng)頁拓?fù)鋱D的中心Layer0為目標(biāo)網(wǎng)頁，將網(wǎng)頁依據(jù)指向目標(biāo)網(wǎng)頁的物理跳數(shù)進(jìn)行層次劃分，從外層網(wǎng)頁指向內(nèi)層網(wǎng)頁的鏈接稱為反向鏈接。1.1.2網(wǎng)站粒度的分析算法網(wǎng)站粒度的資源發(fā)現(xiàn)和管理策略也比網(wǎng)頁粒度的更簡單有效。網(wǎng)站粒度的爬蟲抓取的關(guān)鍵之處在于站點(diǎn)的劃分和站點(diǎn)等級(jí)(SiteRank)的計(jì)算。SiteRank的計(jì)算方法與PageRank類似，但是需要對(duì)網(wǎng)站之間的鏈接作一定程度抽象，并在一定的模型下計(jì)算鏈接的權(quán)重。網(wǎng)站劃分情況

8、分為按域名劃分和按IP地址劃分兩種。文獻(xiàn)[18]討論了在分布式情況下，通過對(duì)同一個(gè)域名下不同主機(jī)、服務(wù)器的IP地址進(jìn)行站點(diǎn)劃分，構(gòu)造站點(diǎn)圖，利用類似PageRank的方法評(píng)價(jià)SiteRank。同時(shí)，根據(jù)不同文件在各個(gè)站點(diǎn)上的分布情況，構(gòu)造文檔圖，結(jié)合SiteRank分布式計(jì)算得到DocRank。文獻(xiàn)[18]證明，利用分布式的SiteRank計(jì)算，不僅大大降低了單機(jī)站點(diǎn)的算法代價(jià)，而且克服了單獨(dú)站點(diǎn)對(duì)整個(gè)網(wǎng)絡(luò)覆蓋率有限的缺點(diǎn)。附帶的一個(gè)優(yōu)

9、點(diǎn)是，常見PageRank造假難以對(duì)SiteRank進(jìn)行欺騙。1.1.3網(wǎng)頁塊粒度的分析算法在一個(gè)頁面中，往往含有多個(gè)指向其他頁面的鏈接，這些鏈接中只有一部分是指向主題相關(guān)網(wǎng)頁的，或根據(jù)網(wǎng)頁的鏈接錨文本表明其具有較高重要性。但是，在PageRank和HITS算法中，沒有對(duì)這些鏈接作區(qū)分，因此常常給網(wǎng)頁分析帶來廣告等噪聲鏈接的干擾。在網(wǎng)頁塊級(jí)別(Blocklevel)進(jìn)行鏈接分析的算法的基本思想是通過VIPS網(wǎng)頁分割算法將網(wǎng)頁分為不同